《PRML》第一章 读书笔记.1

模式识别概述

1、模式识别

使用算法自动发现数据中的规律，并利用这些规律实现回归、分类等任务。例如手写数字识别（MINIST数据）

2、模式识别的几个步骤

• 特征工程（数据准备）：
  ①一般同一个算法需要的输入数据都是一致的
  ②有助于提高计算速度、收敛速度（如归一化）

• 模型（算法）设计：线性回归、支持向量机（SVM）、神经网络

• 训练与验证：
  1) 将数据按比例（$\eta=0.8$)将数据分为训练集与测试集；
  2) 训练阶段，不断调整参数，以期模型能正确判断
  3) 验证：通过验证模型在新的样本上的正确性一测试其泛化能力；如果训练阶段表现非常好、验证阶段表现太差则成为过拟合。（对过去了如指掌，对未来一无所知。 —Luke）

3、三个任务

• 监督学习：从银行卡号识别别所属银行、对应卡产品，再比如手写数字识别、画出图片中的卡边界（Fig.2)

• 非监督学习：鸡尾酒会问题（使用独立成分分析）

• 增强学习：通过反馈评分的方式训练机器人行走、搬东西、玩游戏等

这三个任务所处理的场景各不相同，但其中的一些基本概念、思想是一致的。

4、多项式拟合

• 数据形式（x, y)

• 模型（算法）：多项式拟合

• 参数学习：最小化损失函数

• 模式选择：选择合适的M，确定模型

  trick: 使用均方根对比不同size的数据下模型的损失函数

• 如果把数据增加，对于M=9的模式

  可以看到，当数据增加时，原本过拟合的模型也可以拟合的比较好，也就是说数据量越大越有利于复杂的模型拟合数据，一般认为数据量应该是参数量的5~10倍。后面将看到，参数数量并不是最合适的表示模型复杂度的参数。

• 实际情况是数据量不多，模型复杂容易过拟合。防止过拟合：正则化、贝叶斯方法

  岭回归：

  使用正则化以后，对于合适的正则化，复杂的模型也可以较好的拟合数据，并不会出现过拟合。而当正则化项过大时，也会出现欠拟合的情况。

概率论

模式识别中的一个关键概念：不确定性。造成不确定性的因素是噪声及有限的数据。结合决策理论，即便有用的信息不完整或者模糊不清，也可以做出相对最优的预测。

1、基本概念

• 联合概率：$p(X=x_{i},Y=y_{j})=\frac{n_{ij}}{N}$
• 边缘概率：$p(X=x_{i})=\sum_{j=1}^{2}p(X=x_{i},Y=y_{j})$
• 条件概率：$p(Y=y_j|X=x_i)=\frac{n_{ij}}{n_i}$

边缘概率的另一种表示： p(X=xi)=niN