深度学习
qq_43152949
这个作者很懒,什么都没留下…
展开
-
边框回归
边框回归边框回归是什么?对于窗口一般使用四维向量(x,y,w,h)来表示,分别表示窗口的中心点坐标和宽高。对于图2,红色的框P代表原始的Proposal,绿色的框 G 代表目标的 Ground Truth, 我们的目标是寻找一种关系使得输入原始的窗口 P 经过映射得到一个跟真实窗口 G 更接近的回归窗口边框回归怎么做?线性回归就是给定输入的特征向量X,学习一组参数W,使得经过线性回归...转载 2019-10-21 15:15:44 · 281 阅读 · 0 评论 -
mini-batch
mini-batch(花书p171)n个样本均值的标准差是σ / √ n ,其中σ是样本真实的标准差,其中σ是样本值真实的标准差。分母√ n表明使用更多的样本来估计梯度的方法的收益是低于线性的。例如,比价两个假象的梯度计算,一个基于100个样本, 一个基于10000个样本,后者需要的计算量是前者的100倍,却只降低了10倍的均值标准差。如果能够快速的计算出梯度估计值,而不是缓慢的计算准确的梯度值...原创 2019-10-20 13:33:48 · 302 阅读 · 0 评论 -
CNN
卷积神经网络https://blog.csdn.net/weixin_42451919/article/details/81381294https://blog.csdn.net/ice_actor/article/details/78648780原创 2019-09-16 08:57:06 · 187 阅读 · 0 评论 -
BN
BN转载 2019-09-14 19:27:22 · 1131 阅读 · 0 评论 -
梯度消失和梯度爆炸
梯度消失神经网络主要的训练方法是BP算法,BP算法的基础是导数的链式法则,也就是多个导数的乘积。而sigmoid的导数最大为0.25,且大部分数值都被推向两侧饱和区域,这就导致大部分数值经过sigmoid激活函数之后,其导数都非常小,多个小于等于0.25的数值相乘,其运算结果很小。且由于数据分布一般不是正态分布,数值偏离中心,所以大部分数值都被推向两侧饱和区域,这就导致大部分数值经过sigmoi...原创 2019-09-14 20:11:22 · 131 阅读 · 0 评论 -
激活函数
激活函数的用途(为什么需要激活函数)?如果不用激励函数(其实相当于激励函数是f(x) = x),在这种情况下你每一层节点的输入都是上层输出的线性函数,很容易验证,无论你神经网络有多少层,输出都是输入的线性组合,与没有隐藏层效果相当,那么网络的逼近能力就相当有限。正因为上面的原因,我们决定引入非线性函数作为激励函数,这样深层神经网络表达能力就更加强大(不再是输入的线性组合,而是几乎可以逼近任意函数...转载 2019-09-14 20:15:54 · 168 阅读 · 1 评论 -
深度学习知识点
Batch size对模型训练有什么影响, 大小选取?mini-batch 的大小设置:通常是10到100。大小最好是2的n次方,如16,32,64,128https://blog.csdn.net/juronghui/article/details/78612653深度学习中网络训练时loss不降的解决方法https://blog.csdn.net/qq_37764129/articl...原创 2019-09-14 21:34:05 · 169 阅读 · 0 评论