第一章 统计学习方法概论
统计学习的三要素:模型、策略和算法
统计学习的特点:1建立在计算机及网络之上2数据驱动的学科3目的是对数据进行预测和分析。
4以方法为中心,进行预测与分析。5交叉学科。
Herbert A. Simon对“学习”的定义:如果一个系统可以通过执行某个过程改进性能,这就是学习。
学习对象:
数据(data)
数据的基本假设是具有一定的统计规律性。
学习目的:用于对数据(特别是未知数据)进行预测和分析。
统计学习的方法
分类:
监督学习(Supervised learning)、无监督学习(Unsupervised learning)、半监督学习(Semi-supervised learning)、强化学习(Reinforcement learning).
监督学习:
训练数据(training data)
模型(model)-----假设空间(hypothesis):模式的集合就是假设空间。
评价准则(evaluation criterion)----策略(strategy)
算法(algorithm)
问题形式化:其中Y=f(x)是决策函数,P(y|x)为条件概率,T=(x1,y1)......(xn,yn)为训练集。