《统计学习方法》--李航

机器学习简述

统计学习

知乎详细
是什么：是关于计算机基于数据构建概率统计模型并运 用模型对数据进行预测与分析的一门学科．统计学习也称为统计机器学习。
对象：是数据（data）．它从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，又回到对数据的分析与预测中去．数据是多样的。
数据的基本假设：同类数据具有一定的统计规律性。
目的：对数据进行预测与分析，特别是对未知新数据进行预测与分析．对数据的预测可以使计算机更加智能化，或者说使计算机的某些性能得到提高；对数据的分析可以让人们获取新的知识，给人们带来新的发现．
方法：是基于数据构建统计模型从而对数据进行预测与分析,统计学习由监督学习（supervised learning）、非监督学习（unsupervised learning）、半监督学习（semi-supervised learning）和强化学习（reinforcement learning）

监督学习

监督模型：监督学习（supervised learning）的任务是学习一个模型，使模型能够对任意
给定的输入，对其相应的输出做出一个好的预测。
输入空间，特征空间，输出空间：输入远小于输出，有限元素的集合。
特征空间：特征向量的空间
问题特征：回归问题：输入输出都为连续，分类问题：输出为离散变量，标注问题：输入，输出都为变量序列。
假设：输入与输出遵循联合概率分布函数，

统计学习的三要素：模型（model）、策略（strategy）和算法（algorithm）．
从给定的、有限的、用于学习的训练数据（training data）集合出发，假设数据是独立同分布产生的；并且假设要学习的模型属于某个函数的集合，称为假设空间（hypothesis space）；应用某个评价准则（evaluation criterion），从假设空间中选取一个最优的模型，使它对已知训练数据及未知测试数据（test data）在给定的评价准则下有最优的预测；最优模型的选取由算法实现．<