线性回归

线性回归模型：

• 最小二乘法
  线性回归中通常使用残差平方和，即点到直线的平行于y轴的距离而不用垂线距离，残差平方和除以样本量n就是均方误差，均方误差作为线性回归模型的代价函数(cost function)，使所有点到直线的距离之和最小，就是使均方误差最小化，

代价函数

• 最大似然法
  已知某个参数能使这个样本出现的概率最大，即把这个参数作为估计的真实值

一般步骤：
（1） 写出似然函数
（2） 对似然函数取对数，并整理
（3） 求导数
（4） 解似然方程

• 理解复杂度
  《PRML》当模型的训练误差很小且测试误差很大时，则模型的复杂度较高
  （1）方差理解复杂度
  当模型的复杂度较高时，模型对训练数据比较敏感，方差越大，模型的复杂度越大
  （2）数据集分布理解复杂度
  模型越复杂，则从该模型抽样的数据集变化越大，范围越广

• 贝叶斯思想
  贝叶斯思想：根据当前观测数据加上自己的先验知识主观判断事件发生的概率