PRML杂记

简单的记录一些知识点，权当作备忘，过后有空统一整理一下。

Chapter1.

• generalization:训练好的模型将测试集中数据正确分类的能力。
• 无监督学习的任务一般可以为聚类，密度估计，降维。
• 监督学习算法中分类与回归的区别：分类的输出目标类别是有限离散的，而回归的目标输出是一系列连续的变量。

1、多项式曲线拟合

多项式曲线拟合中，目标函数为

其中，M为多项式的阶。尽管目标函数关于x为非线性函数，但关于回归系数w是线性函数。对于未知参数而言，那些目标函数为线性函数的F，被称为线性模型。

系数w由目标函数对训练集的拟合决定，可以通过最小化误差函数(error function)获得:

误差函数是关于回归系数w的二次函数，所以对应回归系数向量中的元素wj的导函数E`(w)是线性的，故而误差函数有唯一的最小值，对应的系数为w*。此时目标函数为y(x,w*).

这里，选择合适的M(多项式的阶数)十分重要，否则会出现欠拟合或者过度拟合的问题。

训练得到最优的目标函数y(x,w*)后，可以使用方根均值RMS来估算目标函数与训练集以及测试集的误差。

误差函数E除以样本大小N，使得我们可以在不同数据集上做出平等的估算。

正则化

为了防止过度拟合现象的发生，在误差函数后面增加惩罚项来防止回归参数的值过大。

参数λ控制了惩罚因子的权重。

2、概率论

和公式与乘法公式是PRML的基本公式，对于离散型变量而言

可以推导出

对于连续型变量