《统计学习方法》笔记1

概论

1.统计学习

• 统计学习由监督学习、无监督学习和强化学习等组成（也有半监督学习和主动学习）。
• 统计学习方法包括：模型的假设空间、模型选择的准则以及模型学习的算法。
• 统计学习方法的步骤：
  1. 得到一个有限的训练数据集合
  2. 确定包含所有可能的模型的假设空间，即学习模型的集合
  3. 确定模型选择的准则，即学习的策略
  4. 实现求解最优模型的算法，即学习的算法
  5. 通过学习方法选择最优模型
  6. 利用学习的最优模型对新数据进行预测或分析

2.基本分类

• 1.监督学习：是从标注数据中学习预测模型的机器学习问题。标注数据表示输入输出的对应关系，预测模型对给定的输入产生相应的输出。监督学习的本质是学习输入到输出的映射的统计规律。
  • 预测任务分类：
    • 回归问题：输入输出变量均为连续变量的预测问题称为回归问题
    • 分类问题：输出变量为有限个离散变量的预测问题称为分类问题
    • 标注问题：输入输出变量均为变量序列的预测问题称为标注问题
• 2.无监督学习：是指从无标注数据中学习预测模型的机器学习问题。无标注数据是自然得到的数据，预测模型表示数据的类别、转换或概率。无监督学习的本质是学习数据中的统计规律或潜在结构。
• 3.强化学习：是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。 其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。