读书笔记-第1章 统计学习方法概论

读书笔记-《统计学习方法》第1章 统计学习方法概论

---

需要强化的概念（前两小节）

• 独立同分布：是指一组随机变量中每个变量的概率分布都相同，且这些随机变量互相独立。

• 监督学习：学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测。

• 半监督学习(semi-supervised learning)

• 强化学习(reinforcement learning):是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。

• 输入空间： 每个具体的输入是一个实例instance，由特征向量表示。所有特征向量存在的空间成为特征空间，其中每一维对应一个特征。有时输入空间和特征空间为相同的空间，对它们不与区分；有时输入空间和特征空间不同，将实例从输入空间映射到特征空间。模型实际上都是定义在特征空间上的。

• 标注问题：输入数据和输出数据均为变量序列的预测问题，也就是说，分类问题的输出是一个值，而标注问题输出是一个向量，向量的每个值属于一种标记类型。

• 监督学习中的联合概率分布：训练数据和测试数据被看作是依联合概率分布P(X,Y)独立同分布产生的。统计学习假设数据存在一定的统计规律，X和Y具有联合概率分布的假设就是监督学习关于数据的基本假设。

• 假设空间：监督学习的目的在于学习一个由输入到输出的映射，这一映射由模型来表示。换句话说，学习的目的在于找到最好的这样的模型。模型属于由输入空间到输出空间的映射的集合，这个集合就是假设空间。假设空间的确定意味着学习范围的确定。 监督学习的模型可以是概率模型或者非概率模型，由条件概率分布P = (Y|X)或者决策函数 Y=f(X)表示。