声明:此系列博文根据斯坦福CS229课程,吴恩达主讲 所写,为本人自学笔记,写成博客分享出来
博文中部分图片和公式都来源于CS229官方notes。
CS229的视频和讲义均为互联网公开资源
Lecture3
Lecture3的主要内容
· Locally weighted linear regression(局部加权线性回归)
· Probabilistic interpretation (概率解释)
· Logistic regression(logistic回归)
· Digression: perceptron algorithm (拓展:感知机算法)
· Newton’s method(牛顿方法)
0、 欠拟合与过拟合
在讨论正式内容局部加权线性回归之前,先引入两个概念
Underfitting:欠拟合
“this refers to a setting where there areobvious patterns that – where there are patterns in the data that the algorithmis just failing to fit.”
数据中某些非常明显的模式没有被成功的拟合出来。
Overfitting:过拟合
“this is when the algorithm is fitting theidiosyncrasies of this specific data set”
算法拟合出的结果仅仅反映了所给的特定数据的特质
所以今天讲的这类算法称为non-parametric learning algorithm ,可以缓解我们队于特征选取的需求,从而引入后面的正式内容,局部加权线性回归。
1、 Locally weighted linear regression(局部加权线性回归)
Parametric learning algorithm:参数学习算法是一类有 固定的参数数目以用来进行拟合的算法。Lecture2中的线性回归就属于此种算法。
Non-parametric learning algorithm:非参数