动手学深度学习笔记第一章——深度学习简介

1.1 起源

随着时间的流逝，神经网络的生物学解决被稀释，但仍保留了这个名字。时至今日，绝大多数神经网络都包括以下的原则：
·交替使用线性处理单元与非线性处理单元，它们经常被称为“层”。
·使用链式法则（即反向传播）来更新网络的参数。

早期机器学习研究者放弃神经网络的原因：

1. 20世纪末的计算力不足。
2. 当时使用的数据集相对小得多，导致可用于训练的数据量稀缺。

1.2 发展

数据样本个数增长、GPU的出现导致计算力的增长->统计模型、应用、算法的进展。

1.3 成功案例

智能助手、图像识别、博弈、自动驾驶

1.4 特点

机器学习、表征学习和深度学习的关系：
机器学习研究如何使计算机系统利用经验改善性能；
在机器学习的众多研究方向中，表征学习关注如何自动找出表示数据的合适方式，以便更好地将输入变换为正确的输出；
深度学是具有多级表示的表征学习方法。

深度学习的特点：

1. 可以逐级表示越来越抽象的概念或模式；
2. 不是将单独调试的部分拼凑组成一个系统，而是将整个系统组建好之后一起训练；
3. 正在从含参数统计模型转向无参数的模型；
4. 对非最优解的包含、非凸非线性优化的使用。