【22-23 春学期】AI作业1-ML基础

1. 监督学习、无监督学习

监督学习从给定的训练数据集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果。目标往往是让计算机去学习我们已经创建好的分类系统（模型）。

无监督学习的输入数据没有被标记，也没有确定的结果。样本数据类别未知，需要根据样本间的相似性对样本集进行分类试图使类内差距最小化，类间差距最大化。

2. 分类、回归

不管是分类，还是回归，其本质都是对输入做出预测，并且都是监督学习。即是根据特征，分析输入的内容，判断它的类别，或者预测其值。

分类问题应用非常广泛。通常是建立在回归之上，分类的最后一层通常要使用softmax函数进行判断其所属类别。分类并没有逼近的概念，最终正确结果只有一个，错误的就是错误的，不会有相近的概念。

回归问题通常是用来预测一个值。另外，回归分析用在神经网络上，其最上层是不需要加上softmax函数的，而是直接对前一层累加即可。、

3. 聚类、降维

聚类是一种无监督学习任务，该算法基于数据的内部结构寻找观察样本的自然族群。因为聚类是一种无监督学习，并且通常使用数据可视化评价结果。

降维是机器学习另一个重要的领域, 降维有很多重要的应用, 特征的维数过高, 会增加训练的负担与存储空间, 降维就是希望去除特征的冗余, 用更加少的维数来表示特征.最基础的降维算法是PCA，很多算法都是由PCA为基础演化而来的。

4. 损失函数

每个样本经过模型后都会得到一个预测值，得到的预测值和真实值的差值就称为损失，损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越小，通常模型的性能越好。

5. 训练集、测试集、验证集

训练集（train set）：用于训练模型以及确定参数。

验证集（validation set）：用于确定网络结构以及调整模型的超参数。

测试集（test set）：用于检验模型的泛化能力。

6. 过拟合、欠拟合

过拟合是指学习时选择的模型所包含的参数过多，以至于出现这一模型对已知数据预测的很好，但对未知数据预测得很差的现象。

欠拟合模型描述能力太弱，以至于不能很好地学习到数据中的规律。产生欠拟合的原因通常是模型过于简单。

7. 经验风险、期望风险

经验风险是对训练集中的所有样本点损失函数的平均最小化。

指的是模型在整个数据集上的平均误差，包括训练集和测试集等所有数据。