李航统计学习方法第一章知识点

李航统计学习方法第一章内容梳理

1. 得到一个有限的训练数据集合，包括样本特征的抽取；
2. 确定包含所有可能的模型的假设空间（即学习模型的集合），对应判别模型和生成模型的训练中，就是建立目标模型的数学公式描述
3. 确定模型选择的准则，即学习的策略
4. 实现求解最优模型的算法，即学习的算法，这块常常是学习策略的具体数学化表示，算法作为策略实现的手段
5. 通过学习方法选择最优模型，这部分又可以分为直接求出解析最优解、和逐步迭代求每轮的局部最优解从而逼近全局最优解（例如SGD）
6. 利用学习的最优模型对新数据进行预测或分析

1、统计学习是什么？
特点：以计算机及网络为平台；以数据为研究对象，他从数据出发，提取数据的特征，抽象出数据的模型，又回到对数据的分析与预测中去。数据可以是多样的，包括存在于计算机网络上的各种数字、文字、图像、视音频等；目的是对数据进行预测与分析，特别是对未知的数据进行预测分析；以方法为中心，统计学习方法构建模型并应用模型进行预测分析；是概率论、统计学、信息论等多领域的交叉学科。
重要性是什么？
2、统计学习分类
基本分类：监督学习、无监督学习、强化学习、半监督学习和主动学习。
监督学习：
标注数据表示输入输出之间的对应关系，预测模型给定的输入产生相应的输出；监督学习的本质是，学习输入到输出之间的映射的统计规律。
利用训练数据集学习一个模型，再用模型对测试样本集进行预测得到预测值。由于训练数据集往往是人工给出的，也就是y，所以称为监督学习。
当一个孩子逐渐认识事物的