第一次作业

• 监督学习、 无监督学习

j监督学习：从给定的训练集中学习一个函数，当新数据到来时，可以根据这个函数来预测结果。监督学习的训练集要求有输入和输出，也称之为特征和目标。从输入数据提取数据特征，以达到输出特定目标的目的。训练集的目标是由人标注的，常见的监督学习算法包括回归和分类

无监督学习：无监督学习与监督学习相比，训练集没有人为标注的结果（有些数据难以人工标注分类或标注分类成本太高）。无监督学习的典型学习算法是聚类（将相似的东西聚在一起，而不关心这一类是什么）。

• 分类、 回归

不管是分类，还是回归，其本质是一样的，都是对输入做出预测，并且都是监督学习。说白了，就是根据特征，分析输入的内容，判断它的类别，或者预测其值。

1.分类问题输出的是物体所属的类别，回归问题输出的是物体的值。

2.分类问题输出的值是离散的，回归问题输出的值是连续的

• 聚类、 降维

聚类是用于寻找数据内在的分布结构。既可以作为一个单独的过程，如异常检测等；也可作为分类等其他学习任务的前驱过程。聚类是标准的无监督学习。

降维主要是为了缓解维数灾难的一个重要方法。

主要是通过数学变换将原始的高维属性转变到一个低维的子空间。虽然人们平时观测到的数据基本都是高维的，但实际上真正与学习任务的分布相关的往往是低纬度的分布。所以，一般可以通过最主要的几个特征维度就可以实现对数据的描述。

• 损失函数

简单的理解就是每一个样本经过模型后会得到一个预测值，然后得到的预测值和真实值的差值就成为损失（当然损失值越小证明模型越是成功），我们知道有许多不同种类的损失函数，这些函数本质上就是计算预测值和真实值的差距的一类型函数

• 训练集、测试集、验证集

训练集（Training Set）：用于训练模型。

验证集（Validation Set）：用于调整和选择模型。

测试集（Test Set）：用于评估最终的模型。

• 过拟合、欠拟合

训练过度，只对训练集的效果好，对测试集的效果差

训练的不够，对训练集和测试集的效果都差

• 经验风险、期望风险

1、经验风险：将所有的样本点都求一次损失函数然后进行累加。

经验风险是对训练集中所有样本点损失函数的平均最小化。经验风险越小说明模型f(X)对训练集的拟合程度越好。

2、期望风险：期望风险是全局概念，表示决策函数对所有的样本<X,Y>预测能力的大小，而经验风险是局部的概念，仅仅表示决策函数对训练数据集里样本的预测能力。

理想的模型（决策）函数应该是让所有的样本的损失函数最小的（也即期望风险最小化），但是期望风险函数往往是不可得到。只能用局部最优代替全局最优。

经验风险函数是现实的，可求的；

期望风险函数是理想化的，不可求的；