深度学习——起源与发展

深度学习——起源与发展

---

前言

在上一章的传统机器学习算法的总结中，初步提到了一下深度学习，有关更多知识并没有详细介绍。本章将系统介绍一下深度学习的起源和发展，以及它有什么用处。
参考书：
《动手学深度学习》

---

一、起源

深度学习的一个核心概念：神经网络（neural networks)，得名来源于生物学中的神经系统。人工神经网络通过模拟生物神经系统的结构和功能来处理信息。

二、深度学习发展起来的原因：

1. 互联网时代的到来，大规模数据可以轻易从网上获得
2. 算力的提高、特别是GPU的普及，使大规模算力唾手可得

并且算力的增长速度已超过了现有数据集规模的增长速度，因此机器学习的关注点转移到了深度神经网络

三、深度学习的一些应用

1. 语音智能助手，如苹果的Siri、谷歌助手等，都能相当准确地回答口头问题
2. 物体识别，如常见的人脸识别系统，还有图像分类和检测
3. 自然语言处理，如chatgpt，它使用了一个深度神经网络来生成自然语言文本的回复。（它通过训练大规模的文本数据集，学习语言的语法、语义和上下文，并能够生成与输入相关的连贯和有意义的回复）
4. 自动驾驶汽车的出现

以上这些示例只是一小部分机器学习对实际应用的影响。此外，其它学科如机器人学、计算生物学等都与机器学习密切相关。

四、特点

深度学习不仅取代了传统机器学习的浅层模型，而且取代了劳动密集型的特征工程。

深度学习方法中最显著的共同点是使用端到端的训练（将整个模型作为一个整体进行训练，而不是将模型分成多个阶段进行逐步训练），在端到端训练中，输入数据经过模型的所有层级和操作，直到输出结果，所有的参数都是通过反向传播算法一次性更新的。

深度学习是“deep",模型学习了很多”层“之间的转换，每一层提供一个层次的表示。由于表示学习的目的是寻找表示本身，因此，深度学习可以称为"多层表示学习"

在深度学习中，通过多个层级的神经网络模型，数据可以经过多次非线性变换和特征提取，从而逐渐学习到更抽象、更有用的表示。

---

总结

本章介绍了深度学习的起源和发展以及其应用和特点。算是做了一个简短的开头，至于之后的学习就是更为精彩了。

故有无相生，难易相成，长短相形，高下相倾，音声相和，前后相随……

–2023-9-16 进阶篇