深度学习之神经网络，神经元模型，感知机，DNN（后续看主页）

，反过来更新1.神经元可迁移学习，具有稀疏激活性。
2.神经元模型由输入，激活函数，输出构成，各神经元不同之处在于激活函数不一样。
3.线性阈值神经元特征：输入和输出都是二值的，每个神经元都有一个固定的阈值，每个神经元都从带有权重的激活突触接受输入信息，抑制突触对任意激活突触有绝对否决权，每次汇总带权突触的和，如果大于阈值而且不存在抑制突触输入，则输出1，否则为0.
4.Sigmoid激活模型看起来复杂，但是容易求导，且很好阐释了燃烧率，但缺点是函数进入饱和后会造成梯度消失，且并非以0为中心。
5.TANH神经元是Sigmoid的一个继承，将实数压缩至-1到1的范围内，改进了Sigmoid函数变化过于平缓的问题。
6.relu函数优点：收敛速度比Sigmoid函数快6倍，且具有非线性的特点，使信息整合能力大大增强，在一定范围内又具有线性的特点，使其训练简单，快速。且相比Sigmoid和tanh包含复杂算子，RELU通过简单的阈值操作就能实现。但她容易出现死亡，训练过程中会不可逆转的死去。通过调整学习率，限制这种情况的发生。
7.MAXOUT函数能在一定程度缓解梯度消失的问题，同时规避RELU死亡单元的问题，但是增加了参数和计算量。
8.神经网络训练过程可以分为：前向传播：就是在当前的参数值下，输入值进入网络后，顺序计算，最终得到测试值的过程。后向传播：从损失值开始，反过来更新网络的参数值，使更新后的网络的损失值下降的过程。