1.统计学习
统计学习也叫统计机器学习,从数据出发,提取数据的特征,抽象出数据的模型,发现数据中的知识,又回到对数据的分析与预测中去。
统计学习关于数据的基本假设是同类数据具有一定的统计规律。同类数据就是有某种共同性质的数据,例如英文文章、近几年某一天的天气情况等。因为只有相同性质,才具有统计规律,才可以用概率统计的方法来进行处理。一般情况下,用随机变量描述数据中的特征,用概率分布描述数据的统计规律。
统计学习最终为了让计算机更加智能化,或者说使计算机某些性能得到提高。
统计学习包括监督学习、非监督学习、半监督学习和强化学习。
统计学习以方法为中心,学习方法三要素为:模型+策略+算法。
2.监督学习
监督学习的任务是学习一个模型,使模型能够对任意给定的输入,对其相应的输出做一个好的预测。(输入输出是指某个系统的输入输出)
在监督学习中,所有输入(输出)可能的取值的集合称为输入(输出)空间。输入与输出空间可以是有限元素的集合,也可以是整个欧氏空间(欧氏空间解释)。输入与输出空间既可以是同一个空间,也可以是不同的空间;通常输出空间远远小于输入空间。
每个具体的输入是一个实例,通常由特征向量表示;所有特征向量存在的空间称为特征空间,特征空间的每一维对应于一个特征。
下面介绍一些表达式:
输入实例x的特征向量:x = (x^(1),x^(2),…….x^(i),…….x^(n))^T
x^(i)表示x的第i个特征;xi(下标i)表示多个输入变量中的第i个。
训练集:T = {(x1,y1),(x2,y2),…..,(xn,yn)}
输入输出变量可以是连续的也可以是不连续的。两者均为连续变量的问题称为回归问题;输出变量为有限个离散变量的问题称为分类问题;两者均为变量序列的问题称为标注问题。
监督学习假设输入与输出的随机变量X和Y遵循联合概率分布P(X,Y),训练数据与测试数据被看做是依联合概率分布P(X,Y)独立同分布产生的。在学习过程中,我们假设P(X,Y)存在,实际上它是未知的。
输入空间到输出空间的映射的集合称为假设空间。它的确定意味着学习范围的确定。
监督学习的模型可以是概率模型或非概率模型,对具体输入进行相应的预测时,记作P(y|x)或y = f(x).
在学习过程中,学习系统利用给定的训练数据集,通过学习(训练)得到一个模型,用决策函数Y=f(X)或者条件概率分布P(Y|X)表示。学习系统通过不断地学习,训练,最后选取一个最好的模型。
统计学习方法读书笔记(一)之监督学习
最新推荐文章于 2022-04-22 21:09:38 发布