统计学习入门

1、统计学习的三要素：模型，策略，算法
2、回归问题：输入变量与输出变量均为连续变量的预测问题。
分类问题：输出变量为有限个离散变量的预测问题。
标注问题：输入变量与输出变量均为变量序列的预测问题。
3、模型选择方法：正则化与交叉验证。
4、监督学习：指利用训练数据集学习一个模型，再用模型对测试样本集进行预测。即，从给定的有限的训练数据出发，假设数据是独立同分布的，而且假设模型属于某个假设空间，应用某一评价准则，从假设空间中选取一个最优的模型，使它对已给训练数据及未知测试数据在给定评价标准意义下有最准确的预测。
非监督学习：没有训练样本，需要直接对数据进行建模。
http://blog.csdn.net/bangemantou/article/details/12966533
对这个博客的总结：对于有样本的情况，如果这些数据是独立同分布的，则使用监督学习方法，否则使用非监督学习。
5、联合概率：是指两个事件同时发生的概率，$P(A,B)=P(B|A)\cdot P(A)$。
当两个事件独立时：$P(A,B)=P(A)\cdot P(B)$。

*

备注：学习李航老师的《统计学习》的笔记。

*