神经网络基础概念总结（小白入门自用）

人工神经网络

人工神经元：人工神经元是人工神经网络的基本单元。模拟生物神经元，人工神经元有1个或者多个输入（模拟多个树突或者多个神经元向该神经元传递神经冲动）；对输入进行加权求和（模拟细胞体将神经信号进行积累和树突强度不同）；对输入之和使用激活函数计算活性值（模拟细胞体产生兴奋或者抑制）；输出活性值并传递到下一个人工神经元（模拟生物神经元通过轴突将神经冲动输入到下一个神经元）。

人工神经网络：大量的人工神经元以某种链接方式得来的。不同的连接方式构成了不同的神经网络。

多层感知机

感知机：是二类分类的线性分类模型，输入为实例的特征向量，输出为实例的类别。
多层感知机：多层的感知机构成，具有强的的数据特征提取抽象功能。是一个前向传播过程。

激活函数

激活函数：让感知机从单层变成多层。

流行的激活函数：
饱和激活函数：1.Sigmoid函数或者Logistic函数2.Tanh — Hyperbolic tangent（双曲正切函数）
非饱和激活函数：3.ReLu -Rectified linear units（线性修正单元）

反向传播算法

反向传播：计算每一层的误差，误差的计算过程是