机器学习
机器学习相关理论知识
sz3321
计算机视觉
展开
-
神经网络之CNN对数据变换的敏感性
同变性T:变换,R:算子,x:变量R(T(x))=T(R(x))不变性(特征学习中我们想要的)R(T(x))=R(x)CNN中的等变性背后的本质同变性: 体现在 feature map 部分;eg:图像翻转后,同样的核(局部连接+权值共享) 作用满足同变性;不变性: 体现在全连接层;eg:猫图像翻转后,还是猫这一类;没有“旋转不变性”,只能通过data argumentatio...原创 2019-04-24 21:50:56 · 1420 阅读 · 0 评论 -
KL散度&交叉熵&信息熵&不确定性信息度量
起源物理学中的热力学 熵:度量分子在物理空间中的混乱程度;信息熵信息熵: 度量信息量的多少;以离散信息为例离散符号:x1,x2,…,xn;信息中各符号出现的概率:p1,p2,…,pn;信息的不确定性函数: f: p—f(p);p越大,信息的不确定性越小,因此f是一个 减函数;假设前提: 各符号的出现是相互独立的(与实际不符)则:f(p1,p2)=f(p1)+f(p2),即f具...原创 2019-05-06 11:58:51 · 1059 阅读 · 0 评论 -
矩阵
文章目录F-范数F-范数矩阵A中各元素的平方和 再开根等式:性质:正定性,齐次性,三角不等式,相容性;原创 2019-05-09 10:07:08 · 137 阅读 · 0 评论 -
神经网络之参数量计算
卷积网络:(32,32,3)-----(28,28,64) kernel:5x5x3参数量:5x5x3x64+64参考原创 2019-05-22 10:07:17 · 905 阅读 · 0 评论 -
神经网络之1d、2d和3d卷积
数据维度,输入通道,核大小,核通道,核个数,数据维度,输出通道参考原创 2019-05-22 10:28:56 · 1849 阅读 · 1 评论