![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习概念
祖国的花朵33
科研嘛,从入门到放弃也得先入个门呐
展开
-
深度学习常见loss函数
出自cs231n第三讲 常见的loss函数 1. 2. 为了防止过拟合,可以loss函数表达式中加入正则项原创 2018-05-02 10:53:25 · 3186 阅读 · 0 评论 -
深度学习数据集的正确划分
cs231n第二讲图像分类里提到的: 当你在设计机器学习算法的时候,决不能使用测试集来进行调优。如果你使用测试集来调优,算法容易对测试集过拟合。从另一个角度来说,如果使用测试集来调优,实际上就是把测试集当做训练集,由测试集训练出来的算法再跑测试集,自然性能看起来会很好。这其实是过于乐观了,实际部署起来效果就会差很多。所以,最终测试的时候再使用测试集,可以很好地近似度量你所设计的分类器的泛...原创 2018-05-02 10:17:47 · 8623 阅读 · 0 评论 -
深度学习常见激活函数
出自cs231n第四讲(介绍神经网络):原创 2018-05-04 20:31:48 · 240 阅读 · 0 评论 -
常见的卷积神经网络
1.LeNet 详细描述:http://noahsnail.com/2017/03/02/2017-3-2-LeNet%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/ 1994年由卷积网络之父提出 LeNet网络除去输入输出层总共有六层网络,卷积核都是5*5的,stride=1,池化都是平均池化: conv->pool-&原创 2018-06-14 14:38:03 · 2478 阅读 · 0 评论 -
深度学习概念篇
1.参数初始化 要将参数进行随机初始化而不是全部置0,否则所有隐层的数值都会与输入相关,这称为对称失效。 2.梯度消失、梯度爆炸 梯度消失(梯度弥散):这本质上是由于激活函数的选择导致的, 最简单的sigmoid函数为例,在函数的两端梯度求导结果非常小(饱和区),导致后向传播过程中由于多次用到激活函数的导数值使得整体的乘积梯度结果变得越来越小,也就出现了梯度消失的现象。 梯度爆炸:同理...原创 2018-06-14 18:16:53 · 973 阅读 · 0 评论 -
学习网站
GitXiv: http://www.gitxiv.com/ 论文,代码,项目主页一步到位,非常方便。原创 2018-06-07 18:38:09 · 332 阅读 · 0 评论 -
空洞卷积
空洞卷积(atrous convolutions)又名扩张卷积(dilated convolutions),向卷积层引入了一个称为 “扩张率(dilation rate)”的新参数,该参数定义了卷积核处理数据时各值的间距。 卷积核为3、扩张率为2和无边界扩充的二维空洞卷积一个扩张率为2的3×3卷积核,感受野与5×5的卷积核相同,而且仅需要9个参数。你可以把它想象成一个5×5的卷积核,每隔一行或一列转载 2017-11-08 21:46:25 · 2955 阅读 · 0 评论