机器学习（三）

欠拟合和过拟合的概念

上节回顾及本节大纲

• 第二讲讲的是线性回归，本节要讲的称之为局部加权回归。
• 中间有一个对线性回归的理解
• 第一个分类算法：logistic回归
• （线性是指未知变量的指数为1）
• 线性梯度下降和线性最小二乘本质上是一致的，最小二乘是代数形式，而梯度下降是方程形式（个人理解）

本节内容

概念

• 欠拟合：数据中的某些非常明显的模式没有被拟合出来
• 过拟合：算法拟合出的结果仅仅反映了所给的数据的特质
• （线性回归是参数学习算法的一个例子，）参数学习算法是一种有固定数目的参数，以用来进行数据拟合的算法
• 非参数学习算法：算法所需要的东西会随着训练集合线性增长，算法的维持基于整个训练集合，即使在学习之后

局部加权回归——第一个非参数学习算法

• 思想：
  
  • 对临近点的精确拟合，同时忽略那些离得很远的点的贡献
• 思想实现方法：
  
  • 计算误差时，分别给每一项一个权重，与目标值近的权重大，远的权重小。这应该就是这个算法名字的来源。