李航：统计学习方法（2）

统计学习以及监督学习

这里主要是对李航老师的统计学习方法的一个总结，有的地方可能不恰当，毕竟是个人理解，如果觉得总结的不好的，可以去看书，文本有些图片也是借用李航老师。

统计学习

重点：统计学习运用模型对数据进行预测与分析，也被成为机器学习。
特点：建立在计算机上面，数据研究为对象，目的对数据分析，统计学习为核心应用模型，多个方法的交叉学科。
对象：从数据出发提取特征。
本书：讨论离散变量方法，且介绍了利用数据构建模型，并且对数据进行分析，观测和收集问题不做讨论。
目的：用于对数据预测与分析通过对数据的分析给人们带来新的发现。
方法：基于数据构建统计模型，从而对数据进行分析，统计学习由监督学习，无监督学习，强化学习组成。
机器学习（统计学习过程）：收集数据，确定模型，学习策略，优化算法，选择最优模型，利用算法模型对数据预测与分析

统计学习分类

基本分类：

• 有监督学习：具体将如何进行有监督学习，简而言之即将训练集上训练模型用于测试集上面。
  
• 无监督学习：本质就是学习数据中的统计规律和潜在结构。其中无监督学习的通过使用大量的无标注的数据学习或者训练样本，无监督学习分析使用学习到的模型或者自己的模型。
  
• 强化学习
  强化学习是在智能系统中连续进行交互学习，通过一个动作所获得的奖励与惩罚进行下一步的动作。
  
  马尔科夫决策过程为：状态，奖励，动作序列的随机过程（）
  
  半监督学习与主动学习
  半监督学习是指通过标注少量的数据和大量未标注的数据去辅助标注数据进行标注学习。
  主动学习：是指机器不断主动的给实例让教师标注，然后利用标注的数据学习模型的机器学习的问题，通常的监督学习的数据是被动的。简而言之 ：就是机器随机给数据进行标注并且训练。

按模型分类

概率模型与非概率模型

给一个输入一个肯定的输出是非概率模型。给一个输入输出为一个结果的概率为概率模型。
非概率模型：感知机，支持向量机，K近邻，AdaBoost，K均值，潜在语义分析，神经网络。
概率模型：决策树，朴素贝叶斯，隐马尔可夫，条件随机场，概率潜在语义分析，潜在狄利克雷，高斯混合模型，概率模型。
对于输出来说P(y|x)与用y=f（x）可以相互转化，在于模型的内部的结构。
最基本的加法和乘法规则。

线性与非线性模型

y=f（x）是线性函数其他为非线性

线性模型：感知机，线性支持向量机，K近邻，K均值，潜在语义分析
非线性模型：核函数，支持向量机，Adaboost，神经网络。

参数化模型和非参数化模型

模型的参数的数量是有限的还是无限的：（参数有限，解决问题简单，非参数化跟复杂，用于现实中的问题。）
参数化的模型：感知机：朴素杯贝叶斯，逻辑回归，K均值，高斯混合模性，
非参数化模型：决策树，支持向量机，Adaboost，k近邻，潜在语义分析，概率语义分析，潜在狄利克雷分配是非参数化模型。

按算法分类

按技巧分类

1.贝叶斯学习：

核方法：

核函数支持向量机，核PCA，核K均值，把线性模型扩展到非线性模型，简单的做法是将低纬度函数映射到高纬度函数，并且在特征空间进行內积的计算。

统计学习三要素

方法=模型+策略+算法
监督学习，非监督学习，强化学习同样具备这三要素。

模型

监督学习的过程中，模型就是所要学习的条件概率分布，或者决策函数。模型的假设空间包含所有的条件概率或者决策函数。一般假设空间的函数有无穷多个。

策略

在有了模型的假设空间以后统计学习需要考虑按照什么样的的准则来学习或者选择最优的模型，统计学习的目标在于在假设空间中寻找最优模型。
通过引入引入交叉熵和损失函数，风险函数，损失函数度量一次预测的好坏，风险函数度量平均意义下的模型预测的好坏。

交叉熵函数和风险函数

对于预测的真实值y和f（x）可能存在误差
用损失函数或者代价函数来度量预测错误的程度。L（Y，f（x））
0-1损失函数：

算法

算法是指模型的具体的计算方法，统计学习是基于训练数据集，根据学习策略从假设空间中选择最优的模型，最后考虑用什么样的计算方法求解最优模型。
因此统计学习方法转化为最优化问题的求解，统计学习方法之间的不同主要来自模型策略和算法的不同。

模型评估和模型选择

训练误差和测试误差，

后续…