人工智能学习记录1——引言

以下内容为本人学习《动手学深度学习》的学习笔记，教材网址为https://zh-v2.d2l.ai/index.html

1.0 基础概念

机器学习：从经验中学习，经验通常来自与环境交互和观测数据。深度学习是机器学习的一个分支
数据集：dataset
训练数据集（training set）
测试数据集（test set）
参数：parameter
模型（model）：任一调整参数后的程序称为模型
模型族：通过调整参数而生成的不同程序的集合
学习算法：使用数据集来选择参数的元程序

1.1 产生一个模型的方法：

1.设置一个模型并初始化其参数；
2.输入样本；
3.根据输出结果调整参数，使模型表现更优；
4.重复2、3步

1.2 机器学习的关键组件

1.数据；2.模型；3.目标函数；4.算法

数据集由样本（example）组成，每个样本又包含一组特征（feature）
当每个样本的特征数量都相同时，其特征向量是固定长度的，这个长度被称为数据的维数，固定长度的特征向量便于对样本进行大量学习，然而不同样本的特征数量未必总是相同的，比如来源不同的照片，而简单的裁剪则有丢失信息的风险。

与传统机器学习相比，深度学习的一个明显优势是可以处理不同长度的数据。

海量的数据奠定了深度学习相较于传统机器学习模型的优势基础，而数据的正确性，数据集的均衡性，与目标的相关性等同样是影响模型有效性的重要因素；

Garbage in, garbage out.；
糟糕的预测性能甚至会加倍放大事态的严重性

深度学习与经典方法的区别主要在于，前者关注的是由神经网络错综复杂交织在一起，包含层层数据转换的功能强大的模型，因此被称为深度学习。
目标函数：定义模型的优劣程度的度量，通常希望其优化到最低点，又称为损失函数（loss function）
预测数值常用平方误差；预测分类常用错误率；有时目标函数由于不可微或其他特性难以直接优化，此时通常会优化替代目标。

当一个模型在训练集上表现良好而不能推广到测试集时，这个模型被称为过拟合的（overfitting）
当训练和测试数据不同时，最后一个问题提出了分布偏移（distribution shift）的问题

优化算法： 又称学习算法，其目标是搜索最优参数以最小化损失函数。在深度学习中，常用梯度下降法。
可以理解为，学习算法的输出将是一个调整后的模型。

1.3 各种机器学习问题

1.3.1 监督学习（supervised learning）：训练时训练集中样本为“特征+标签”

回归：回归是最简单的监督学习任务之一，当输出为一个任意数值时，我们称之为回归问题，目标是训练一个目标函数。

一个很好的经验法则是，任何有关有多少的问题很可能就是回归问题；

分类：输出为样本属于哪个类别，目标是训练一个分类器。分类问题的常见损失函数被称为交叉熵（cross-entropy）。
最常见的类别不一定是最终用于决策的类。

任何有关哪一个的问题很可能就是分类问题。

最常见的类别不一定是最终用于决策的类别。分类问题常见有二项分类、多项分类、层次分类等。
标记问题：又称多标签分类（multi-label classfication）：学习预测并不相互排斥的类别问题。例如识别图片上的不同动物，关联文献中的术语等
搜索：查询——网页分类+排序，输出一个有序的元素子集
推荐系统：反馈循环缺陷。
序列学习:当样本是连续的且彼此之间具有联系，要求模型具有记忆性。常见的序列学习问题有：标记和解析，自动语音识别，文本到语音，机器翻译。

1.3.2 无监督学习（unsperivised learning）：数据中不含有目标的机器学习问题通常被称为无监督学习

聚类问题，主成分分析，因果关系和概率图模型问题，生成对抗性网络

1.3.3 与环境互动

监督学习和无监督学习属于离线学习

1.3.4 强化学习

智能体——观察环境——产生动作——奖励，强化学习的目标是产生一个好的策略，而动作受策略控制。

任何监督学习问题转化为强化学习问题

学分分配：决定哪些行为值得奖励，哪些行为需要惩罚。
部分可观测性问题，根据策略做出选择还是继续优化策略。
当环境可以被完全观察到时，强化学习问题称为马尔科夫决策过程
此外还有上下文赌博机，多臂赌博机。

神经网络的关键原则：
线性与非线性处理单元交替，通常称为层；
使用链式规则（也称反向传播（backpropagation））一次性调整网络中的全部参数

表示学习作为机器学习的一类，其研究的重点是如何自动找到合适的数据表示方式。深度学习是通过学习多层次的转换来进行的多层次的表示学习