统计学习方法笔记（1）概论

---

人们提到机器学习时，大多数指的是统计机器学习。

---

统计学习的目的

从数据出发，提取数据的特征，抽象出模型后，又回归到对数据的分析与预测中去。对未知新数据的预测与分析常常会带来新的知识。

统计学习的方法

统计学习由 监督学习、非监督学习、半监督学习、强化学习 组成。
我们的讨论都以监督学习为主。

实现统计学习的步骤如下：
1.得到一个有限的训练数据集合；
2.确定包含所有可能的模型的假设空间，即学习模型的集合；
3.确定模型选择的准则，即学习的策略；
4.实现求解最优模型的算法，即学习的算法；
5.通过学习方法选择最优模型；
6.利用学习的最优模型对新数据进行预测或分析；

---

基本概念

输入/输出空间： 输入/输出所有可能取值的集合。
实例：每个具体的输入，通常用特征向量表示。
特征空间：所有特征向量存在的空间，特征空间的每一维对应着一个特征。（一般我们不区分特征空间与输入空间）

符号表示

我们将输入实例x的特征向量写作
$$x=(x^{(1)},x^{(2)},\cdots ,x^{(i)},\cdots ,x^{(n)}{)}^T$$
值得注意的是：我们应当区分$x^{(i)}$与$x_i$, $x^{(i)}$指的是$x$的第$i$个特征，但$x_i$代表多个输入变量中的第$i$个
$$x_i=(x_i^{(1)},x_i^{(2)},\cdots ,x_i^{(n)}{)}^T$$
训练集通常被表示为
T = { (