深度学习
蜜丝特潮
不是程序猿的程序员
展开
-
张量形状的理解与相关操作
张量形状的理解与相关操作一.张量的形状的判断这里的A,B,C分布表示维度0,1,2那如何理解shape呢,由左图我们可以看到和A这个方括号同维度的有[1 2],[4 5]两个,所以维度0的长度为2,而和B同维度的有0,2两个,所以维度1的长度为2所以左边张量的shape=[2,2]同理右图的张量,和A方括号同维度的只有[[1 2 3] [4 5 6]],所以...原创 2018-03-31 15:01:25 · 3121 阅读 · 1 评论 -
卷积层
图像处理里的卷积实际上是数学上的互相关,而数学上的卷积是是卷积核旋转180后的互相关数学上的互相关,即深度学习里的卷积: 数学上的卷积 前行传播zl=w∗al−1zl=w∗al−1z^l=w*a^{l-1}⎡⎣⎢⎢a11a21a31a12a22a32a13a23a33⎤⎦⎥⎥∗[w11w21w12w22]=[z11z21z12z22][a11a12a13a21a22a2...原创 2018-06-13 20:23:01 · 446 阅读 · 0 评论 -
Pool层及其公式推导
在CNN网络中卷积池之后会跟上一个池化层,池化层的作用是提取局部均值与最大值,根据计算出来的值不一样就分为均值池化层与最大值池化层,一般常见的多为最大值池化层设al−1=σ(zl−1)al−1=σ(zl−1)a^{l-1}=\sigma(z^{l-1})前向传播maxpool前向传播会记录每次pool的核移动stride后所在区域里的最大值,和最大值所在坐标 这里以pool的...原创 2018-06-14 18:44:47 · 6625 阅读 · 0 评论 -
BatchNormal推导和yolo源码解析
E(Xi).D(Xi)E(Xi).D(Xi)E(X_i).D(X_i):可以理解为XiXiX_i所在分布的期望值样本均值:μA=X¯=1m∑mi=1XiμA=X¯=1m∑i=1mXi\mu_A=\bar X=\frac 1 m \sum_{i=1}^mX_i 因为抽样和样本同分布,所以: 样本期望:μ=E(Xi)=E(μA)=E(x)μ=E(Xi)=E(μA)=E(x)\mu=E(X_i)...原创 2018-06-01 18:01:30 · 3789 阅读 · 6 评论 -
Dropout和正则项
注意以下字母皆代表矩阵前行传播rlj∼Bernouli(p)rjl∼Bernouli(p) r_j^l \sim Bernouli(p) ŷ l=rl⨀al−1,al−1为第l−1层输出y^l=rl⨀al−1,al−1为第l−1层输出 \hat{y}^l=r^l \bigodot a^{l-1}, a^{l-1}为第l-1层输出 al=wlŷ&amp原创 2018-06-09 10:44:41 · 712 阅读 · 0 评论