第1章 什么是深度学习
1.1 人工智能、机器学习与深度学习
1.人工智能定义:努力将通常由人类完成的智力任务自动化
2.机器学习包括三个要素:输入数据点、预期输出的示例、衡量算法效果好坏的方法
3.机器学习和深度学习的核心问题:有意义地变换数据,即学习输入数据的有用表示
4.深度指数学模型中包含的层数,这些分层几乎是通过神经网络的模型学习得到
5.损失函数(目标函数)——衡量神经网络的输出与预期值之间的距离
6.优化器(实现反向传播算法)——利用距离值作为反馈信号来对权重值进行微调,以降低当前示例对应的损失值:
7.深度学习从数据中进行学习时的两个基本特征: 第一,通过渐进的、逐层的方式形成越来越复杂的表示;第二;对中间这些渐进的表示共同进行学习
1.2深度学习之前:机器学习简史
概率建模:统计学原理在数据分析中的应用(朴素贝叶斯算法)
早期神经网络:例如LeNet
核方法:例如支持向量机(SVM) 可以利用核技巧将数据映射到高维表示从而使分类问题简化
决策树:可以对输入数据点进行分类或根据给定输入来预测输出值
随机森林:首先构建许多决策树,然后将它们的输出集成在一起
梯度提升机:将弱预测模型集成的机器学习方法