从神经网络到深度学习

机器学习

机器学习：寻找一个映射。
训练阶段：有大量的映射+训练数据–>寻找一个最优的映射f*（有较高的准确性）
测试阶段：f*(输入)
监督学习，无监督学习，迁移学习（源域的知识–>目标域的知识）
迁移学习的方法：

1. 数据分布自适应：通过一些变换，将不同的数据分布的距离拉近
2. 特征选择：假设源域与目标域中均含有一部分公共的特征
3. 子空间学习：假设源域和目标域数据在变换后的子空间中会有着相似的分布。

机器学习主要的算法：

1. 神经网络
2. 支持向量机
3. 贝叶斯学习
4. 遗传算法

神经网络

神经元–神经网络的基本运算单位。
单层感知机

常用的激活函数：

单个神经元的计算能力有限，无法处理大规模的运算。
神经元–>神经网络
多层前馈神经网络
通过梯度来更新每一层的网络的参数W。
神经网络的优缺点
优点：可以拟合任何非线性模型，实现分类、回归；基于梯度训练，方便编程实现扩展
缺陷：局部最优；层数过多会出现梯度弥散、参数量指数级增加。
神经网络训练过程:

过拟合和欠拟合
抑制过拟合的方式：dropout（更新一部分网络）；正则化（约束模型的复杂度）；数据增广；减小网络；提前结束训练过程。

深度学习

为什么要深度：层数越多，表达能力越强
卷积神经网络
卷积神经网络三特性：局部连接；权值共享；池化采样。
每个卷积核都在提取一种特征。
网络的构成：
卷积层、池化层（下采样）、全连接层、辅助层。

辅助层：
反卷积层：在图像分割，图像生成中广泛应用。
Batch Normalization层：输出归一化
dropout层：选择一部分进行权重的更新