统计学习方法——第1章-概述

1.1统计学习

1.1.1 统计学习的特点:
统计学习(Statistical Learning):关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析。

1.1.2 统计学习方法
由监督学习，无监督学习，强化学习，自主学习等的组成。

1.1.3 统计学习三要素
模型(model),策略(strategy),算法(algorithm)

1.2统计学习分类

1.2.1 监督学习

监督学习(supervised learning):指从标注数据中学习预测模型的机器学习问题。
每个输入是一个实例(instance),通常由特征向量(feature vector)表示。
特征向量存在的空间叫做特征空间(feature space)。

input 连续，output 连续 = 》回归问题
output 有限个离散变量的预测问题 =》 分类问题
input ,output 为变量序列的预测问题 =》 标注问题

形式：分为两个过程。
训练模型：利用训练数据集学习出模型
测试模型：利用模型对测试样本集进行预测

1.2.2 无监督学习

无监督学习(unsupervised learning):指从无标注数据中学习预测模型的机器学习问题。其本质是学习数据中的统计规律和潜在结构。
无标注数据：自然得到的数据，预测模型表示数据的类别，转换或概率。

1.2.3 强化学习

强化学习(reinforcement learning):指智能系统在与环境的连续互动中学习最优行为策略的机器学习问题。

专有名词：
状态 state,奖励 reward，动作action ，试错 trial and error
价值函数 value function
动作价值函数 action value function

1.2.4 半监督与主动学习

半监督学习(semi-supervised learning):利用标注和未标注的数据学习预测模型的机器学习问题。通常少量标注数据，大量未标注数据。

主动学习(active learning)：机器不断主动的给出实例让教师进行标注，然后利用标注的数据学习预测模型的机器学习问题。以较小的标注代价，达到较好的学习效果。

1.3 按模型分类：

1.3.1 概率模型与非概率模型

概率模型(probabilistic model)
决策树，朴素贝叶斯，隐马尔可夫，条件随机场，概率潜在语义分析，潜在迪利克雷分配，高斯混合模型
非概率模型(non-probabilistic model)
感知机，支持向量机，K近邻，AdaBoost，k均值，潜在语义分析，神经网络

逻辑斯蒂回归即可看作概率模型，有可看作非概率模型。

在监督学习中，概率模型取条件概率分布 P(y|x),非概率模型取 y=f(x)
在无监督学习中，概率模型取条件概率分布 P(z|x)，非概率模型取函数形式 z=g(x)
条件概率分布 P(y|x) 和函数 z=f(x) 可以相互转化

1.3.2 线性模型与非线性模型

线性模型(linear model)
感知机，线性支持向量机，K近邻，k均值，潜在语义分析
非线性模型(non-linear model)
支持向量机，AdaBoost,神经网络

1.3.3 参数化模型和非参数化模型

参数化模型(parametric model):假设模型参数的维度固定，模型可以由有限维参数完全刻画
如：感知机，朴素贝叶斯，逻辑斯蒂回归，K均值，高斯混合模型，潜在语义分析，概率潜在语义分析，潜在迪利克雷分配。

非参数化模型(non-parametric model):模型参数的维度不固定或者无穷大，随着训练数据量的增加不断增大。决策树，支持向量机，AdaBoost，K近邻

1.4 按技巧分类

1，贝叶斯学习

2，核方法

1.5 统计学习三要素

方法=模型+策略+算法
1，模型：就是要学习的条件概率分布或决策函数

2，策略：
损失函数度量模型一次预测的好坏
风险函数度量平均意义下模型预测的好坏

经验风险最小化：

结构风险最小化：为了防止过拟合而提出的策略，结构风险在经验风险上加上了表示模型复杂度的正则化项。

3，算法
最优化问题

1.6 模型评估和模型选择

1.6.1 关键词说明：

训练误差(train error):
训练误差的大小，对判断给定的问题是不是一个容易学习的问题是有意义的，但本质上不重要。

测试误差(test error):
测试误差反映了学习方法对未知的测试数据集的预测能力

通过学习方法对未知数据的预测能力成为泛化能力(generalization ability)

过拟合(over-fitting)：中庸

正则化(regularization):结构风险最小化策略的实现，模型越复杂，正则化值越大。
L1范式，L2范式，奥卡姆剃刀

交叉验证：基本思想是重复使用数据，把给定的数据进行切分，将切分的数据集进行组合，反复训练与测试。
简单交叉验证，S折交叉验证，留一交叉验证

泛化能力：由某种方法学习到的模型对未知数据的预测能力。
泛化误差上界，

1.7监督学习应用

分类问题：输入连续或离散，输出为有限个离散值
分类器，分类准确率，精准率，召回率，
方法：K近邻，感知机，朴素贝叶斯，决策树，决策列表，逻辑斯蒂回归模型，支持向量机，提升方法，贝叶斯网络，神经网络等

标注问题：输入是一个观测序列，输出是一个标记序列或状态序列。标注问题的目标在于学习一个模型，使他能对观测序列给出标记序列做出观测。
方法：隐马尔可夫模型，条件随机场

回归问题：用于预测输入变量和输出变量的关系。
分类：一元纤回归和多元回归，线性回归和非线性回归
常用最小二乘法作为损失函数。

本文作为学习笔记，如有错误地方，欢迎指教！