读书笔记-《统计学习方法》第1章 统计学习方法概论
需要强化的概念(前两小节)
独立同分布:是指一组随机变量中每个变量的概率分布都相同,且这些随机变量互相独立。
监督学习:学习一个模型,使模型能够对任意给定的输入,对其相应的输出做出一个好的预测。
半监督学习(semi-supervised learning)
强化学习(reinforcement learning):是机器学习中的一个领域,强调如何基于环境而行动,以取得最大化的预期利益。
输入空间: 每个具体的输入是一个实例instance,由特征向量表示。所有特征向量存在的空间成为特征空间,其中每一维对应一个特征。有时输入空间和特征空间为相同的空间,对它们不与区分;有时输入空间和特征空间不同,将实例从输入空间映射到特征空间。模型实际上都是定义在特征空间上的。
标注问题:输入数据和输出数据均为变量序列的预测问题,也就是说,分类问题的输出是一个值,而标注问题输出是一个向量,向量的每个值属于一种标记类型。
监督学习中的联合概率分布:训练数据和测试数据被看作是依联合概率分布P(X,Y)独立同分布产生的。统计学习假设数据存在一定的统计规律,X和Y具有联合概率分布的假设就是监督学习关于数据的基本假设。
假设空间:监督学习的目的在于学习一个由输入到输出的映射,这一映射由模型来表示。换句话说,学习的目的在于找到最好的这样的模型。模型属于由输入空间到输出空间的映射的集合,这个集合就是假设空间。假设空间的确定意味着学习范围的确定。 监督学习的模型可以是概率模型或者非概率模型,由条件概率分布P = (Y|X)或者决策函数 Y=f(X)表示。