深度学习
陈奉刚11
大数据开发与问题定位
展开
-
深度学习笔记(三)back propagation(BP) 原理和求解过程
上一章分析基本神经网络以及怎么训练网络过程。里面有用到提到BP (反向传播的求解)1)BP 其实是一种思想首先我们看一个计算式子e=(a+b)∗(b+1)的图模型:如下左图所示, 其中,c,d表示中间结果,边的方向表示一个结点是另一个结点的输入。 假设输入变量a=2,b=1时,图中各结点的偏导计算结果如下: 利用正向微分算法,原创 2017-08-24 22:52:08 · 8289 阅读 · 1 评论 -
深度学习笔记(六) cnn 卷积神经网络
1)卷积神经网络是一种前馈神经网络,前面讲的网络包括full NN,感知器都是前馈网络,BP是一种前馈网络的训练方法。2)卷积神经网络主要是降维,有点类似PBACNN的基本结构包括两层,其一为特征提取层,每个神经元的输入与前一层的局部接受域相连,并提取该局部的特征。一旦该局部特征被提取后,它与其它特征间的位置关系也随之确定下来;其二是特征映射层,网络的每个计算层由多个特原创 2017-09-03 22:01:32 · 5358 阅读 · 0 评论 -
深度学习笔记(四) cost function来源和证明
1)什么是代价函数WIKI的解释:Cost functionIn economics, the cost curve, expressing production costs in terms of the amount produced.In mathematical optimization, the loss function, a function原创 2017-08-25 22:58:06 · 3115 阅读 · 0 评论 -
深度学习笔记(七) RNN循环神经网络
这个只是自己的学习笔记,文章内容是从很多地方总结的。只是方便自己的查阅之余能对你有所帮助。前一个章节的CNN主要处理图片的问题,主要是空间角度的转换,这个章节的RNN主要是时间角度。主要处理前面的输入对未来的影响,或者未来的输入对 前面的影响。举例1 NLP前面对后面的影响选择:1)小红是中国人,我在上海见到了()原创 2017-09-04 20:54:08 · 833 阅读 · 0 评论 -
深度学习笔记(九)AutoEncoder自动编码器
前面的神经网络都是是基于监督的网络,这一章节主要是介绍非监督学习网络,原理很简单,自己学习,然后将学习的内容反过来生存初始状态,然后对比,×自动编码器是一种尽可能复现输入信号的神经网络×自动编码器必须获取到代码输入数据的最主要的因素,类似于PCA,尽量找到主要成分基于监督的学习 监督学习会有target,通过对比prediction和ta原创 2017-09-04 23:20:13 · 1784 阅读 · 0 评论 -
深度学习笔记(八)LSTM长短期记忆网络
上一个章节(RNN)最后的时候分析, 当t-k远大于0的时候,如果小于零,将会变成一个很小值,如果大于零,将会变成一个很多的数,前者就是梯度消失,后者就是梯度爆炸,LSTM主要是解决这个问题。梯度消失图如下:其实,长短时记忆网络的思路比较简单。原始RNN的隐藏层只有一个状态,即h,它对于短期的输入非常敏感。那么,假如我们再增加一个状态,即原创 2017-09-04 22:13:00 · 8063 阅读 · 0 评论 -
深度学习笔记(一)感知器
刚忙完一个项目,最近时间相对比较多,所以上午一般对spark的源码分析,下午研究深度学习,spark源码分析文档在公司写的,没法外传,下午深度学习没有写博客,所以想晚上写一个系列。这个系列主要是针对这对时间的对深度学习写一个备忘录,同时加深一点印象。所有的内容都是在网上,书上看到的,我只是做一些终结和看法。1)深度学习发展历史:这一章节主要分析感原创 2017-08-23 21:24:53 · 4197 阅读 · 0 评论 -
深度学习笔记(二)神经网络
1)发展历史因为感知器只能 处理线性问题,当Hinton在1986年发明了适用于多层感知器(MLP)的BP算法,并采用Sigmoid进行非线性映射,有效解决了非线性分类和学习的问题原理:上一个章节介绍了感知器,分析了感知器为啥不可以解决非线性问题。如果将激活函数改为sigmoid或者relu将能过够处理非线性问题。同时多层感知器出现,经证明,多层感知器能表示任何原创 2017-08-23 22:40:10 · 1236 阅读 · 0 评论 -
深度学习笔记(五) 代价函数的梯度求解过程和方法
作为自己的笔记系列,方便自己查阅和理解。1)什么是梯度梯度本意是一个向量(矢量)当某一函数在某点处沿着该方向的方向导数取得该点处的最大值,即函数在该点处沿方向变化最快,变化率最大(为该梯度的模)。在二元函数的情形,设函数z=f(x,y)在平面区域D内具有一阶连续偏导数,则对于每一点P(x,y)∈D,都可以定出一个向量(δf/x)*i+(δf/y)*j原创 2017-08-31 22:30:24 · 25444 阅读 · 1 评论