- 博客(12)
- 收藏
- 关注
RSS订阅原创 Batch Normalization详解
学深度学习怎么可能学不到BN呢？今天就记录一下，学BN学到的一些知识。个人笔记，欢迎指点。原论文：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》Batch Normalization的目的是使我们的feature map满足均值为0，方差为1的分布规律。这里所说满足某一分布规律并不是指某一个feature map的数据要满足分布规律，理论上是指整个训练样本集所
2022-04-21 16:22:24
1534
2原创 KL散度（Kullback-Leibler散度）笔记
KL散度是描述两个概率分布相似度的一种度量。KL散度起源于信息论。信息论的主要目标是量化数据中有多少信息。信息论中最重要的指标称为熵，通常表示为H。熵没有告诉我们可以实现这种压缩的最佳编码方案。信息的最佳编码是一个非常有趣的主题，但对于理解KL散度而言不是必需的。熵的关键在于，只要知道所需位数的理论下限，我们就可以准确地量化数据中有多少信息。现在我们可以对此进行量化，当我们将观察到的分布替换为参数化的近似值时，我们丢失了多少信息。KL散度是对熵公式的略微修改。不仅仅是有我们的概率分布p，还有近似分布
2022-02-17 22:11:52
1322
原创 Linux操作笔记--压缩与解压缩文件
搞深度学习不可避免的需要用到使用Linux的服务器，所以记一些Linux使用笔记是很合理的事情。忘了在哪找到的资料，感谢大佬的总结。1、zip格式zip可能是目前使用的最多的文档压缩格式。它最大的优点就是在不同的操作系统平台上使用。缺点就是支持的压缩率不是很高，而tar.gz和tar.bz2在压缩率方面做得非常好。我们可以使用下列的命令压缩一个文件：zip -r archive_name.zip filename #-r是压缩文件下面是如果解压一个zip文件：unzip archi
2022-01-18 13:27:31
150
原创 ImageNet数据集处理（总结整理--待续）
ImageNet图像数据集始于2009年，当时李飞飞教授等在CVPR2009上发表了一篇名为《ImageNet: A Large-Scale Hierarchical Image Database》的论文，之后就是基于ImageNet数据集的7届ImageNet挑战赛(2010年开始)。数据下载：ImageNetImageNet1k：ImageNet21k：Tiny Imagenet 有 200 类。 每个类有 500 张训练图像、50 张验证图像和 50 张测试图像。2.ImageNe
2022-01-17 22:23:11
5118
原创 深度学习中的计算图整理与总结
动态计算图1. 计算图计算图是用来描述运算的有向无环图计算图有两个主要元素：结点（Node）和边（Edge）结点表示数据，如向量，矩阵，张量。边表示运算，如加减乘除卷积等用计算图表示：y=(x+w)∗(w+1)y=(x+w)*(w+1)y=(x+w)∗(w+1)采用运算法的优势是令梯度的计算更加方便，y对w求导的过程如下：y对w求导一共包含两项内容，分别是y对a求导和y对b求导。2.PyTorch的动态图 根据计算图搭建方式的不同，可将计算图分为动态图和静
2021-03-17 12:24:35
2627
原创 高等代数_第一章多项式_1数域
数域的定义：如果一个包含0,1在内的数集P对于加减乘除（除数不为0）是封闭的，那么P称为一个数域。性质:所有的数域都包含有理数域作为它的一部分。
2020-06-08 23:37:31
1265
原创 【题解】【PTA-Python题库】第2章-2 计算分段函数[1] (10分)
本题目要求计算下列分段函数f(x)的值：输入格式:输入在一行中给出实数x。输出格式:在一行中按“f(x) = result”的格式输出，其中x与result都保留一位小数。输入样例1:10输出样例1:f(10.0) = 0.1输入样例2:0输出样例2:f(0.0) = 0.0代码如下：x = float(input())if(x == 0): print("f(0.0) = 0.0")else: print("f
2020-06-08 04:24:39
2075
原创 【题解】【PTA-Python题库】第2章-1 计算 11+12+13+...+m (30分)
输入一个正整数m(20<=m<=100)，计算 11+12+13+...+m 的值。输入格式:在一行输入一个正整数m。输出格式:在一行中按照格式“sum = S”输出对应的和S.输入样例:在这里给出一组输入。例如：90 输出样例:在这里给出相应的输出。例如：sum = 4040代码如下：...
2020-06-08 03:38:36
729
原创 【题解】【PTA-Python题库】第1章-3 输出“Python语言简单易学” (10分)
输入格式:无输出格式:输出一句短语，Python语言简单易学。如果包含汉字，用"print(s.encode("utf-8"))"输出.如： s="人生苦短，我学Python" print(s.encode("utf-8"))输入样例:无输出样例:"人生苦短，我学Python" 的输出：b'\xe4\xba\xba\xe7\x94\x9f\xe8\x8b\xa6\xe7\x9f\xad\xef\xbc\x8c\xe6\x88\x91\
2020-06-08 02:51:03
476
转载 【题解】【PTA-Python题库】第1章-2 从键盘输入三个数到a,b,c中，按公式值输出 (30分)
在同一行依次输入三个值a,b,c，用空格分开，输出 b*b-4*a*c的值输入格式:在一行中输入三个数。输出格式:在一行中输出公式值。输入样例:在这里给出一组输入。例如：3 4 5输出样例:在这里给出相应的输出。例如：-44代码如下：a,b,c = input().split()d = int(b)*int(b)-4*int(a)*int(c)print(d)...
2020-06-08 02:49:02
618
原创 【题解】【PTA-Python题库】第1章-1 从键盘输入两个数，求它们的和并输出 (30分)
本题目要求读入2个整数A和B，然后输出它们的和。输入格式:在一行中给出一个被加数在另一行中给出一个加数输出格式:在一行中输出和值。输入样例:在这里给出一组输入。例如：18-48输出样例:在这里给出相应的输出。例如：-30思路：输入两个数，再把这两个数转换为整型。代码如下：x = input()y = input()z = int(x) + int(y)print(z)或者:x = int(input())y = int(inpu.
2020-06-08 02:45:28
3439
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人