深度学习
文章平均质量分 90
王里扬洛夫
人的命运啊,主要是靠个人的奋斗,同时也要考虑历史的行程啊!
展开
-
深度学习算法之AlexNet和VGGNet
AlexNet: 1 模型特性该模型主要的特性如下: 1.1 激活函数——ReLU(1)激活函数使用ReLU,解决了梯度弥散问题;什么是梯度弥散?同样还有一个概念叫做梯度爆炸?直观的解释: 可以看出sigmod函数在靠近0的附近的时候梯度变化比较明显,到靠近1的地方梯度逐渐趋近与0,根据梯度下降算法,此时权值等参数变化不明显,函数很难收敛。本质的解释:假设一个简单的结构,输入层节点表示为h1h原创 2017-04-17 15:42:03 · 8545 阅读 · 1 评论 -
深度学习算法之卷积神经网络简介
1、CNN与特征工程 在卷积神经网络之前,一般采用SIFT算法进行特征提取,然后SVM等进行分类,需要对图像进行预处理,还伴随着庞大的特征工程。CNN算法直接将图像的原始像素作为输入,不需要预先进行SIFT进行特征提取,避开了大量的特征工程,另一方面由于图像的空间信息很重要,所以通过卷积核提取局部信息,可以利用图像在空间中的相关性,避免了全连接式的破坏空间信息。2、CNN与全连接神经网络与全连接网原创 2017-04-15 13:47:46 · 1065 阅读 · 0 评论 -
深度学习算法之CNN、RNN、LSTM公式推导
整个推导过程首先一定对网络的结构有清醒的认知,所有变量的下角标都能一一对应到网络结构上;然后就是链式求导了。一、CNN公式推导1、前向传播假设CNN共三层,第一层为输入层,第二层为隐藏层,第三层为输出层。定义:第一层与第二层之间的参数为WihW_{ih},第二层到第三层的参数为WhkW_{hk}t时刻的某一个神经元的输入为bib_i那么隐藏层输入为:∑mi=1Wihbi\sum_{i=1}^mW_{原创 2017-05-05 17:27:11 · 6108 阅读 · 1 评论 -
深度学习算法之过拟合、局部最小值和梯度弥散·
紧接着上文优化方法总结一下优化方法是从哪些地方入手的。 The Difficulty of Training Deep Architectures and the Effect of Unsupervised Pre-Training 一、局部最小值 求解函数的梯度,当梯度值为0时,可以说该点是该函数的极大值或者极小值。当把定义域内的所有极值点都求出来,进行比较之后,最终可以确定函数在定义域内原创 2017-04-22 14:15:03 · 7228 阅读 · 0 评论 -
深度学习之caffe使用小结(1)
1、执行目录 至少在最新的版本中,caffe直接在根目录执行脚本文件会报错,需要先cd caffe-master 然后执行相应的脚本,比如\caffe-master\examples\cifar10中的train_quick.sh,并且需要加sudo2、数据集的制作 就是图片列表,后面带有分类标号的,一般讲jpg格式的图片放在某个目录下,然后执行以下脚本:find -name cat.\*.jp原创 2017-06-04 18:31:36 · 709 阅读 · 0 评论