线性回归模型:
- 最小二乘法
线性回归中通常使用残差平方和,即点到直线的平行于y轴的距离而不用垂线距离,残差平方和除以样本量n就是均方误差,均方误差作为线性回归模型的代价函数(cost function),使所有点到直线的距离之和最小,就是使均方误差最小化,
代价函数
- 最大似然法
已知某个参数能使这个样本出现的概率最大,即把这个参数作为估计的真实值
一般步骤:
(1) 写出似然函数
(2) 对似然函数取对数,并整理
(3) 求导数
(4) 解似然方程
-
理解复杂度
《PRML》当模型的训练误差很小且测试误差很大时,则模型的复杂度较高
(1)方差理解复杂度
当模型的复杂度较高时,模型对训练数据比较敏感,方差越大,模型的复杂度越大
(2)数据集分布理解复杂度
模型越复杂,则从该模型抽样的数据集变化越大,范围越广 -
贝叶斯思想
贝叶斯思想:根据当前观测数据加上自己的先验知识主观判断事件发生的概率