天池学习-深度学习入门与实践-1.基于人脸的常见表情识别(1)——深度学习基础知识（基本无代码全理论

天池学习-深度学习入门与实践-1.基于人脸的常见表情识别(1)——深度学习基础知识（基本无代码全理论）

1 神经网络

1.1 感知机

Frank Rosenblatt 在1957年提出
最简单的人工神经网络
通常情况下指单层的人工神经网络
类似一逻辑回归模型，可做线性分类任务，但不能做更复杂的任务（第二次AI浪潮中马文·明斯基证明连 XOR（异或）都无法正确解决。）

x1 至 xn — n 维输入向量的各个分量
w1j 至 wnj—为各输入分量连接到感知机的权量（或称权值）
theta —阈值
f —激活函数/激励函数/传递函数（理想：阶跃函数或sigmoid函数）
o —标量输出

1.2 多层感知机与反向传播

1974 哈佛 Paul Werbos 证明增加一个网络层，利用反向传播算法可解决 XOR 。
后来 Rummelhart，McClelland 以及 Hinton 在 1986 年正式在多层感知器 (MLP) 中使用 BP 算法，采用 Sigmoid 进行非线性映射，有效解决了非线性分类和学习的问题。

多层感知机（Multi-Layer Perceptron）是由单层感知机推广而来
特点是有多个神经元层
输入层：MLP 的第一层；
隐藏层：MLP 中间的层；（没规定数量）
输出层：MLP 最后一层。（每层神经元的个数0没有限制）
MLP关键问题：如何训练其中各层间的连接权值
方法：反向传播BP算法
η—学习率了，一层一层推导下去
反向传播算法让多层感知机/传统的全连接神经网络有了训练的手段，引发了神经网络的第二次热潮，但全连接神经网络总算是正式起来了。

2 卷积神经网络

2.1 全连接神经网络的2大缺陷

1. 原理上的缺陷：BP神经网络—有监督的传统机器学习
   不过是将SVM或者其他分类器换成神经网络，增加了问题的复杂度。
   提取的特征—一定程度上丢失图像中的结构信息，从而丢失了一些对旋转扭曲等的不变性。
   为了学习到如偏移