神经网络
罗泽
深度学习实现目标检测的职人;知识传播与分享者;热爱生活的人
展开
-
梯度下降算法的实质
梯度下降算法的做法是通过改变权重w的值,从而使代价函数最小。那么问题是,为什么改变w的值能够使代价函数最小呢?最直接的方式应该是改变∂C⁄∂w的方式使代价函数的梯度逐步减小到最小值,此时的代价函数C才具有最小值。原创 2016-10-21 15:04:14 · 1038 阅读 · 0 评论 -
2张图理解resnet核心思想
resnet是用于解决什么问题的实验结果表明,层数的增加会提高网络的学习效果。但是,实验结果也表明,如果只是单纯的增加网络的深度,网络的学习能力会下降。实验结果如下图所示: 56层的学习误差比20层的学习误差还要大。 因此,我们需要一种方法,使网络的深度增加的同时,学习能力也增加。resnet是通过什么方式来解决问题的resnet的出现就是来解决这个问题的。作者发现,如果网络的层数变深,我们原创 2017-02-27 18:32:10 · 7075 阅读 · 0 评论 -
论文笔记:神经网络中的基本概念整理
AutoEncoder(自编码器):将数据从高维转换成低维,且保证数据在转换过程中不丢失关键数据。实验结果还表明,转换后的数据更易于分类。 dictionary learning(字典学习):它实质上是对于庞大数据集的一种降维表示。原创 2017-03-01 11:57:40 · 657 阅读 · 0 评论 -
Udacity深度学习DeepLearning课程作业1—notMnist
前言:Udacity上有一个免费的《深度学习》单项课程。虽然是免费的课程,但保持了Udacity一贯的水准。其课程主要是神经网络的实际应用。因此,该课程能较好的提升实际项目水平。但是,如果需要提升理论水平,则可以同步学习Coursera上hinton的《机器学习》课程,里面有很深入和系统的讲解了深度学习的所有基础理论。该课程的入门作业是notMnist字符的分类。原创 2017-01-22 20:44:33 · 6866 阅读 · 3 评论 -
Sentiment Classification - Mini Project 3-MLP框架搭建
一般来说,会规划一个类来实现MLP里的相关函数。由于一个网络的实现必然会存在训练和测试两个阶段,因此,train和test函数是类中最重要的函数,在train中实现前向传播和后向传播来更新参数。而在test中则是利用参数前向得到统计后的测试结果。其次,还会有run函数,这个函数就好比是一个demo,用于判断某张图像的测试结果。剩下的,就是与类的初始化函数和一些计算函数了。原创 2017-02-21 23:32:17 · 443 阅读 · 0 评论 -
dlnd-your-first-neural-network中反向传播的笔记
本文Udacity上深度基石项目的一个作业的笔记.由于反向传播中矩阵计算设计到下标的配合。因此,作如下笔记用于回顾总结。 注:所有∑\sum相乘的公式均可以使用np.dot()来实现。下面是作业中误差反向传播的一段代码,用python来实现。原创 2017-02-12 19:42:55 · 1298 阅读 · 2 评论