第三集：欠拟合与过拟合的概念

大纲：

1 线性回归 

1.1局部加权回归

2 逻辑回归（logistic regression） 

2.1感知器算法

在一定的数据量下，特征值过多可能会引起过拟合现象（overfitting），相反，特征值过少可能会引起欠拟合现象（underfitting）

解决办法：1 特征学习算法 2 非参学习（参数数量随着训练集的增长而增长）

局部加权回归：假设我们有一组数据如下，当我们想预测某一个点x的输出时，我们不是训练样本得到函数，而是取x周围若干个点进行线性回归得到函数，然后带入x求出输出值y。为什么叫做局部加权呢？可以看成是训练时每个样本点对输出值的贡献与待预测点点的距离有关，距离越近，贡献越大，相当于有一个权值。

其中，决定了权值下降的速度。

缺点：每次预测一个点的值需要用到全部的样本从新训练，速度慢

为什么之前要用最小二乘法来拟合数据呢？用最大似然法可以解释，这里就不写公式了

分类问题：输出值只有少数几个选择 0,1,2等等

逻辑回归（logistic regression） 

实际上，为什么用非线性函数做分类问题的激活函数而不用线性函数，有一个原因就是我们所用的非线性函数有值域，可以代表分类问题的几个输出值。而线性函数没有值域，在某些分类问题上结果并不好。

sigmoid函数就是一个例子，值域为0-1

感知器算法其实就是激活函数变成二值函数