1-统计学习VS 监督学习-机器学习

统计学习(统计机器学习)的骨骼是什么？

定义

用计算机，基于数据，构建出 概率统计模型，并用模型分析和预测数据。

数据： 包括数字，文字，图片，视频，音频，以及它们的组合。

同类数据：具有某种性质的数据，如英文文章，互联网网页，数据库中的数据。

基本假设

同类数据具有一定的统计规律性。若无规律性，则统计学习无用武之地。

分类

监督学习  + 半监督学习 + 半监督学习 + 强化学习

应用领域

人工智能 + 模式识别 + 数据挖掘 + 自然语言处理 + 语音识别 + 图像识别 + 信息检索 + 生物信息

什么叫监督学习？

S1 给定一个有限的，用于学习的训练数据集合，并假设数据集合是独立同分布产生的。

S2 假设要学习的模型是某个函数集合中的一个函数，该函数集合称为假设空间。

S3 应用某个评价准则，基于测试数据集，从假设空间中选取某模型，使得该模型对于测试数据集的预测能达到最优。

S4 利用最优模型对新数据进行分析和预测

监督学习的概念体系有哪些？

输入空间(input space)

     所有可能的输入值的集合。每个具体的输入值是一个实例(instance)。

     每个输入值通常由特征向量(feature vector)表示，所以输入空间又称特征空间(feature space)。特征空间的每一维对应一个特征。

输出空间(output space)

     所有可能的输出值的集合。

基本假设

     假设输入变量 X和输出变量 Y具有联合概率分布P(X,Y)，且训练数据集和测试数据集都是基于该分布产生的独立同分布数据集。但学习系统不知道这个联合概率分布是什么分布。

预测任务的分类

输入变量X的类型	输入变量X的个数	输出变量Y的类型	输出变量Y的个数	预测任务的别称
连续	>=1	连续	1	回归
离散	>=1	离散	1	分类
连续/离散	>1	连续/离散	>1	标注

监督学习如何生成模型？

生成模型的方法	内容	生成的模型的别称	该方法的子类	优点	缺点
判别方法 (discriminative approach)	寻找输入X与输出Y之间的函数关系，给定X，便能预测Y	判别模型 (discriminative model)	K邻近法，感知机，决策树，逻辑斯蒂回归模型，最大熵模型，SVM，提升方法和条件随机场	直接面对预测，学习的准确率更高； 能简化学习问题	无法还原X.Y的联合概率分布 学习收敛速度慢 存在隐变量，不可用该方法
生成方法 (generative approach)	寻找X.Y的联合分布，给定X，能得到Y的具体分布	生成模型 (generative model）	朴素贝叶斯法，隐马尔科夫模型	可以还原X.Y的联合概率分布 学习收敛速度更快，当样本容量增加时，学到的模型能更快地收敛于真实的模型 存在隐变量是仍然可以用该方法

参考：

         李航《统计学习方法》