Keras人工神经网络简介（一）

1.1 从生物神经元到人工神经元

人工神经元衍生于生物神经元

1.1.1生物神经元

一个个神经元组成了数十亿个庞大的网络，每个神经元都与数千个其他神经元连接。

神经元通常组织成连续的层。

1.1.2 神经元的逻辑计算

 1. 恒等函数
 2. 逻辑AND
 3. 逻辑OR
 4. 逻辑非

1.1.3 感知器

感知器是最简单的ANN架构之一。
它是基于阈值逻辑单元（TLU),对输入进行加权和,然后将阶跃函数应用于该和并输出结果。

 单个TLU可用于简单的线性二进制分类。

感知器是只有一个TLU组成的小型网络，每个TLU连接到所有的输入。

感知器基于硬阈值进行预测，不输出分类概率，无法解决异或分类问题。

1.1.4 多层感知器和反向传播

多层感知机（MLP）由一层（直通）输入层、一层或多层TLU（称为隐藏层）和一个TLU的最后一层（输出层）组成

 当人工神经网络（ANN）包含一个深层的隐藏层时，就变成了深度神经网络（DNN）

反向传播：对于每个训练实例，反向传播算法首先进行预测（正向传递）并测量误差，然后反向经过每个层以测量来自每个连接的误差贡献（反向传递），最后调整连接权重以减少错误（梯度下降步骤）。

1.1.5 回归MLP

MLP可用于回归任务，如果要预测单个值，则只需要单个输出神经元：其输出就是预测值。对于多元回归（即一次预测多个值），每个输出维度需要一个输出神经元。

1.1.6 分类MLP

MLP也可用于分类任务。对于二进制分类问题，你只需要使用逻辑激活函数的单个输出神经元：输出将是0到1之间的数字，你可以将其解释为正类的估计概率。负类别的估计概率等于1减去该数字。

如果每个实例只能属于三个或更多类中的一个类（例如数字图像分类的类0到9），则每个类需要一个输出神经元，并且应该使用softmax激活函数整个输出层。softmax函数将确保所有估计的概率在0到1之间，并且它们加起来等于1（如果类是互斥的，则是必须的）。这称为多类分类。

典型的MLP架构

超参数	二进制分类	多标签二进制分类	多类分类
输入层和隐藏层	与回归相同	与回归相同	与回归相同
输出神经元数量	1	每个标签1	每个类1
输出层激活	逻辑	逻辑	softmax
损失函数	交叉熵	交叉熵	交叉熵