![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DL基础知识
一只叫不二的龙猫
这个作者很懒,什么都没留下…
展开
-
CNN基础知识
参考:《解析深度学习——卷积神经网络原理与视觉实践》网址:http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf端到端学习,指整个学习过程中不进行人为的子问题划分,完全交给深度学习模型直接学习从原始输入到期望输出的映射。相比分治策略,“端到端”的学习方式具有协同增效的优势,有更大可能获得全局最优解。一、CNN的基本操作1、某层偏置设置为全0或...原创 2019-01-04 09:20:28 · 1183 阅读 · 0 评论 -
目标函数(损失函数,代价函数)
深度网络中的目标函数通过样本的预测结果与真实标记产生的误差反向传播指导网络参数学习与表示学习。为防止模型过拟合或达到其他训练目标(如希望得到稀疏解),正则项通常作为对参数的约束也会加入目标函数中一起指导模型训练。一、分类任务目标函数(1)普通分类函数交叉熵损失函数合页损失函数坡道损失函数——非凸损失函数,也常被称为“鲁棒损失函数”特点:抗噪这类损失函数的共同特点是...原创 2019-01-06 11:47:17 · 3619 阅读 · 0 评论 -
网络参数初始化
参考:《解析深度学习——卷积神经网络原理与视觉实践》网址:http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf实际应用中,随机参数服从高斯分布或均匀分布一、Xaiver参数初始化方法和He参数初始化方法(1)Xaiver参数初始化方法随机初始化+方差大小的规范化, n指输入神经元个数n_in,也可以指定为(n_in+n_out)/2...原创 2019-01-06 09:08:39 · 1256 阅读 · 0 评论 -
激活函数
参考:《解析深度学习——卷积神经网络原理与视觉实践》网址:http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf一、Sigmoid函数缺点:大于 5(或小于 −5)部分的梯度接近 0,这会导致在误差反向传播过程中导数处于该区域的误差很难甚至无法传递至前层,进而导致整个网络无法正常训练;Sigmoid型激活函数值域的均值并非为 0 而是全为...原创 2019-01-06 09:08:23 · 2362 阅读 · 0 评论 -
卷积神经网络的压缩
参考:《解析深度学习——卷积神经网络原理与视觉实践》网址:http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf一、模型压缩原因巨大的存储代价以及计算开销,严重制约了深度网络在移动端等小型设备上的应用;模型内部参数存在着巨大的冗余。二、据压缩过程对模型结构破坏程度进行模型压缩技术分类前端压缩:指不改变原网络结构的压缩技术,主要包括知识...原创 2019-01-05 08:38:57 · 1695 阅读 · 0 评论 -
数据扩充和数据预处理
参考:《解析深度学习——卷积神经网络原理与视觉实践》网址:http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf 数据扩充有效的数据扩充不仅能扩充训练样本数...原创 2019-01-05 08:38:33 · 7876 阅读 · 0 评论 -
经典网络结构
参考:《解析深度学习——卷积神经网络原理与视觉实践》网址:http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf一、VGG特点:(1)使用小卷积核和“保持输入大小"等技巧,目的在增加网络深度(复杂度)时各层输入大小随深度增加而不极具减小。(2)通道数也逐渐在增加。二、NIN特点:(1)NIN采用了复杂度更高的多层感知机作为层间...原创 2019-01-04 09:21:16 · 788 阅读 · 0 评论