机器学习（二）——神经网络简介

欢迎转载，请注明出处：https://blog.csdn.net/tayhh/article/details/82083726

1.神经网络来源：

对生物神经网络的模仿,抽象出生物神经网络中的神经元与连接的概念，不同的是人工神经网络间的链接是固定的，而生物神经网络的链接不是固定的。

2.Neural Networks重要元素：

①NN由多层神经元构成；

②必不可少的3层是：

a.输入层：接受信息，以0或1的形式；

b.输出层：输出对事物的认知，以0或1的形式；

c.隐藏层：加工、处理信息；

另外，每个神经元都有一个刺激函数；NN正向传播输出预估值，再反向传播预估值与真实值的误差，指导神经元向着正确方向改动

3.Convolutional Neural Networks:

①图像识别与自然语言处理领域应用较成熟；

②卷积对图像中一小块元素进行过滤；

③传统卷积：缩小图像长、宽，增加高度，准确度不高；后来，与pooling模块合作，卷积负责增加高度，pooling负责缩小长、宽

④CNN工作流程：image->cnn->max pooling->cnn->max pooling->fully connection->fully connection->classifier

4.Recurrent Neural Networks:

①语言分析、序列化数据领域较成熟；如描述照片、写论文、写脚本、作曲；

②一般的NN，忽略了序列数据之间的关联，而RNN弥补了这一点；

5.Long Short-Term Memory in RNN:

①主流的RNN形式;

②RNN难以控制久远记忆，反向传递过程中：要么梯度消失，要么梯度爆炸；

③LSTM RNN增加3个控制器弥补不足：输入控制器、忘记控制器、输出控制器；

6.未完待续。。。，下一篇介绍如何用Python构造上述神经网络~~