机器学习 统计学习

机器学习：一种让计算机利用数据而非指令来进行各种工作的方法。计算机使用输入给他的数据，利用人类赋予的算法，得到某种模型的过程，其结果是使用该模型，预测未知数据信息。

在统计理论下的本质：它追求的是合理的假设空间（模型在数学上的适合场合）的选取和模型的泛化能力（模型在未知数据上的表现能力）。

统计学习（statistial learning）：计算机基于数据构建概率统计模型：并运用模型对数据进行预测和分析的一门科学。

统计学习的对象：数据data

统计学习方法的三要素：模型的假设空间（模型 model）模型选择的准则（策略strategy）模型学习的算法（算法 algorithm）

当样本不足时，可以使用交叉验证，重复的使用数据。eg：S折交叉验证 随机的将已知数据切分为S个互不相交的大小相同的子集：然后利用S-1个子集训练模型，利用余下的子集测试数据；进行S次重复选择，最后选出S次评测中平均测试误差最小的模型。

监督学习的生成方法和判别方法：

生成方法：生成模型    由数据学习P(x,y)，然后求出条件概率分布P(y|x)作为预测模型，即生成模型 P(y|x)=P(x,y)/P(x)【有标签】

判别方法：判别模型   由数据直接学习f(x)或P(y|x) 作为预测模型，给定的输入x，应该预测什么样的输出y。