吴恩达网易公开课_机器学习【第3课】笔记：局部加权回归，逻辑回归

目录

1、欠拟合和过拟合

2、局部加权线性回归/Loess

3、为什么用最小二乘来解？

4、逻辑回归

5、感知器

 

 

1、欠拟合和过拟合

第一幅图，underfitting欠拟合，对数据拟合的不是很好

第二幅图，我们暂时认为拟合的最符合真实情况

第三幅图，overfitting过拟合，曲线很满足训练样本，但是并没有给出预测方向

 

2、局部加权回归，又 称Loess

局部加权线性回归：更近的点采用更大的权重，弱化更远的点的影响。

权重w是个钟形的函数。参数表示钟形的宽度。

对于每个要预测的点，都要先拟合出一条直线，再进行预测。

 

3、为什么用最小二乘来解？

我们假设误差error满足均值为0的高斯分布。

为什么采用高斯分布：因为大部分情况下，我们发现高斯分布能够很好的表现出干扰的性质。

 

最大化log似然函数，其实就是最小化误差平方和，这个跟之前的最小二乘法是一致的。

 

4、逻辑回归

这里是梯度上升，看上去好像跟之前的最小二乘算法一样，其实是不一样的。这里，y的取值不连续，而且h(x)也变了。

 

另外：安利一个机器学习算法学习的好办法：

（1）看懂原理以及每一步推导

（2）将推导覆盖，自己推导一遍

（3）实践

 

5、感知器