深度学习——起源与发展
前言
在上一章的传统机器学习算法的总结中,初步提到了一下深度学习,有关更多知识并没有详细介绍。本章将系统介绍一下深度学习的起源和发展,以及它有什么用处。
参考书:
《动手学深度学习》
一、起源
深度学习的一个核心概念:神经网络(neural networks),得名来源于生物学中的神经系统。人工神经网络通过模拟生物神经系统的结构和功能来处理信息。
二、深度学习发展起来的原因:
- 互联网时代的到来,大规模数据可以轻易从网上获得
- 算力的提高、特别是GPU的普及,使大规模算力唾手可得
并且算力的增长速度已超过了现有数据集规模的增长速度,因此机器学习的关注点转移到了深度神经网络
三、深度学习的一些应用
- 语音智能助手,如苹果的Siri、谷歌助手等,都能相当准确地回答口头问题
- 物体识别,如常见的人脸识别系统,还有图像分类和检测
- 自然语言处理,如chatgpt,它使用了一个深度神经网络来生成自然语言文本的回复。(它通过训练大规模的文本数据集,学习语言的语法、语义和上下文,并能够生成与输入相关的连贯和有意义的回复)
- 自动驾驶汽车的出现
以上这些示例只是一小部分机器学习对实际应用的影响。此外,其它学科如机器人学、计算生物学等都与机器学习密切相关。
四、特点
深度学习不仅取代了传统机器学习的浅层模型,而且取代了劳动密集型的特征工程。
深度学习方法中最显著的共同点是使用端到端的训练(将整个模型作为一个整体进行训练,而不是将模型分成多个阶段进行逐步训练),在端到端训练中,输入数据经过模型的所有层级和操作,直到输出结果,所有的参数都是通过反向传播算法一次性更新的。
深度学习是“deep",模型学习了很多”层“之间的转换,每一层提供一个层次的表示。由于表示学习的目的是寻找表示本身,因此,深度学习可以称为"多层表示学习"
在深度学习中,通过多个层级的神经网络模型,数据可以经过多次非线性变换和特征提取,从而逐渐学习到更抽象、更有用的表示。
总结
本章介绍了深度学习的起源和发展以及其应用和特点。算是做了一个简短的开头,至于之后的学习就是更为精彩了。
故有无相生,难易相成,长短相形,高下相倾,音声相和,前后相随……
–2023-9-16 进阶篇