动手学深度学习读书笔记-1

---

前言

应用深度学习的关键

1. 问题的动机和特点；
2. 将大量不同类型神经网络层通过特定方式组合在⼀起的模型背后的数学原理；
3. 在原始数据上拟合极复杂的深层模型的优化算法；
4. 有效训练模型、避免数值计算陷阱以及充分利用件性能所需的工程技能；
5. 为解决方案挑选合适的变量（超参数）组合的经验。

---

深度学习简介

• 机器学习和深度学习应用的核心思想：用数据编程
• 通俗来说，机器学习是一门讨论各式各样的适用于不同问题的函数形式，以及如何使用数据来有效地获取函数参数具体值的学科。
• 赫布理论是感知机学习算法的原型，并成为支撑今日深度学习的随机梯度下降算法的基石：强化合意的行为、惩罚不合意的行为，最终获得优良的神经网络参数。

绝大多数神经网络都包含以下的核心原则：

1. 交替使用线性处理单元与非线性处理单元，它们经常被称为“层”。
2. 使用链式法则（即反向传播）来更新网络的参数。

近十年来深度学习长足发展的部分原因：

1. 优秀的容量控制方法，如dropout
2. 注意力机制：如何在不增加参数的情况下扩展一个系统的记忆容量和复杂度。
3. 记忆网络和神经编码器—解释器这样的多阶设计使得针对推理过程的迭代建模方法变得可能。
4. 生成对抗网络
5. 分布式并行训练算法。设计可扩展算法的最大瓶颈在于深度学习优化算法的核心：随机梯度下降需要相对更小的批量。
6. 并行计算的能力也为至少在可以采用模拟情况下的强化学习的发展贡献了力量。
7. 深度学习框架
8. 系统研究者负责构建更好的工具，统计学家建立更好的模型。这样的分工使工作大大简化。

特点

• 与机器学习的关系：
  • 机器学习研究如何使计算机系统利用经验改善性能。
  • 在机器学习的众多研究方向中，表征学习关注如何自动找出表示数据的合适方式，以便更好地将输入变换为正确的输出，而本书要重点探讨的深度学习是具有多级表示的表征学习方法。
  • 深度学习模型也可以看作是由许多简单函数复合而成的函数。当这些复合的函数足够多时，深度学习模型就可以表达非常复杂的变换。
  • 作为表征学习的一种，深度学习将自动找出每一级表示数据的合适方式。
• 端到端的训练。并不是将单独调试的部分拼凑起来组成一个系统，而是将整个系统组建好之后一起训练。
• 从含参数统计模型转向完全无参数的模型
  • 当数据非常稀缺时，我们需要通过简化对现实的假设来得到实用的模型。
  • 当数据充足时，我们就可以用能更好地拟合现实的无参数模型来替代这些含参数模型。这也使我们可以得到更精确的模型，尽管需要牺牲一些可解释性。
• 相对其它经典的机器学习方法而言，深度学习的不同在于：
  • 对非最优解的包容
  • 对非凸非线性优化的使用
  • 勇于尝试没有被证明过的方法

练习

• 如果把人工智能的发展看作是新一次工业革命，那么深度学习和数据的关系是否像是蒸汽机与煤炭的关系呢？为什么？

  煤炭和数据的区别：煤炭不可再生，数据可再生。
  从这个角度来说，人工智能更可持续发展？
  其实炼丹排放量也挺大的…