统计学习
统计学习的对象是数据。
统计学习的方法:监督学习、非监督学习、半监督学习、强化学习。
统计学习方法三要素:模型、策略、算法。
监督学习
输入空间与输出空间:输入与输出可能的取值的集合。
具体输入通常由特征向量表示。
特征向量存在的空间为特征空间。
模型定义在特征空间上。
监督学习的目的是学习一个由输入到输出的映射,由模型表示。
模型属于从输入空间到输出空间的映射的集合。
监督学习的模型:概率模型、非概率模型。
学习策略
损失函数
经验风险最小化
结构风险最小化(加上正则化项(罚项))
模型评估
训练误差
测试误差
过拟合:正则化、交叉验证(简单交叉验证、S折交叉验证、留一交叉验证)
泛化能力
生成模型与判别模型
生成方法:由数据联合概率分布求出条件概率分布
判别方法:数据直接学习决策函数或条件概率分布