斯坦福CS229机器学习笔记-Lecture3 局部加权线性回归和 logistic regression

声明：此系列博文根据斯坦福CS229课程，吴恩达主讲 所写，为本人自学笔记，写成博客分享出来

          博文中部分图片和公式都来源于CS229官方notes。

          CS229的视频和讲义均为互联网公开资源

Lecture3

Lecture3的主要内容

· Locally weighted linear regression（局部加权线性回归）

· Probabilistic interpretation （概率解释）

· Logistic regression（logistic回归）

· Digression: perceptron algorithm （拓展：感知机算法）

· Newton’s method（牛顿方法）

 

0、  欠拟合与过拟合

在讨论正式内容局部加权线性回归之前，先引入两个概念

Underfitting：欠拟合

“this refers to a setting where there areobvious patterns that – where there are patterns in the data that the algorithmis just failing to fit.”

数据中某些非常明显的模式没有被成功的拟合出来。

Overfitting：过拟合

“this is when the algorithm is fitting theidiosyncrasies of this specific data set”

算法拟合出的结果仅仅反映了所给的特定数据的特质

 

所以今天讲的这类算法称为non-parametric learning algorithm ，可以缓解我们队于特征选取的需求，从而引入后面的正式内容，局部加权线性回归。

 

1、 Locally weighted linear regression（局部加权线性回归）

Parametric learning algorithm：参数学习算法是一类有 固定的参数数目以用来进行拟合的算法。Lecture2中的线性回归就属于此种算法。

Non-parametric learning algorithm：非参数