2018-08-01 神经网络

最新推荐文章于 2020-07-24 22:06:24 发布

__MapleYang

最新推荐文章于 2020-07-24 22:06:24 发布

阅读量309

点赞数

文章标签： tensorflow

本文链接：https://blog.csdn.net/qq_33483830/article/details/81572004

版权

一、生物神经网络和人工神经网络

人工神经网络靠的是正向和反向传播来更新神经元, 从而形成一个好的神经系统, 本质上, 这是一个能让计算机处理和优化的数学模型.。而生物神经网络是通过刺激, 产生新的联结, 让信号能够通过新的联结传递而形成反馈。

参考链接：https://morvanzhou.github.io/tutorials/machine-learning/ML-intro/2-0-ANN-and-NN/

二、神经网络

下图就是一个神经网络。它有很多层组成，最开始的输入层负责接收信息，然后由中间的隐含层对其进行加工处理，最后有输出层输出计算机对输入信息的认知。

训练神经网络需要大量的数据，训练的时候输出结果有对的也有错的。错的结果会被当作经验，从输出层反向传递回去在正确的方向上对每个神经元进行一定的调整，使其在下一次训练的时候能够输出更准确的结果。

每个神经元都有对应的激活函数，见下图。

在一次训练中，部分神经元被激活，如果结果错误，那么就会让一部分神经元变得更迟钝，一部分变得更敏感。

参考链接：https://morvanzhou.github.io/tutorials/machine-learning/ML-intro/2-1-NN/

https://www.jianshu.com/p/e112012a4b2d

三、卷积神经网络CNN

CNN一般用于图像处理，它处理的是一个区域而不仅仅是一个点，通过一个滑动窗口，对图片信息进行卷积运算，从而总结出更高层的结构。

比较流行的搭建结构见下图：

首先是输入的图片(image), 经过一层卷积层 (convolution), 然后在用池化(pooling)方式处理卷积的信息, 这里使用的是 max pooling 的方式. 然后在经过一次同样的处理, 把得到的第二次处理的信息传入两层全连接的神经层 (fully connected),这也是一般的两层神经网络层,最后在接上一个分类器(classifier)进行分类预测。

上边提到的pooling是将小邻域特征点进行整合得到新的特征，而max pooling是提取这一小邻域中值最大的那个特征作为新的特征。比如一个2×2的邻域，[1 3; 2 0]，经过一次max pooling后就变为[3]。

全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。

参考链接：https://morvanzhou.github.io/tutorials/machine-learning/ML-intro/2-2-CNN/

https://blog.csdn.net/JIEJINQUANIL/article/details/50042791

https://blog.csdn.net/l691899397/article/details/52267166

四、循环神经网络RNN

RNN一般对有序的数据进行处理，其处理流程大致如下：

每次RNN都会产生一个 S(t)，用以描述当前的状态，然后再综合之前的状态得出当前的输出。比如 Y(t+1) 是综合 S(t) 和 S(t+1) 后得到的。

参考链接：https://morvanzhou.github.io/tutorials/machine-learning/ML-intro/2-3-RNN/

五、LSTM 循环神经网络

1. RNN的弊端

RNN学习时，如果出现误差，会反向传递误差以调整参数，每一步都会乘以一个参数W。如果W小于1，那么误差就会逐渐缩小，到最后可能会得到一个趋近于0的数，这种情况叫做梯度消失或者梯度弥散。如果W大于1，那么误差就会逐渐变大，到最后可能会得到一个无穷大的数，这种情况叫做梯度爆炸。这就是普通 RNN 没有办法回忆起久远记忆的原因（比如，无法回忆起反向传回来的误差）。