机器学习--吴恩达(局部加权，最小二乘法，逻辑回归和感知器算法)

review：回顾上节课的一些参数定义。

本次课程大纲：

1.局部加权回归：线性回归的变化版本

2.最小二乘法的概率解释：另一种可能的对于线性回归的解释

3.Logistic回归：基于2的分类算法

4.感知器算法

新的概念定义

过拟合和欠拟合

给定一个假设空间 H，一个假设 h 属于 H，如果存在其他的假设 h 1 ，使得在训练样例上 h 的错误率比 h 1 好，但在整个实例分布上 h 1 的错误率比 h 小，那么就说假设 h 是过拟合。

同理，欠拟合的定义可以类比过合。

参数学习算法

parametric learning algorithm: θ:fixed set of parametric 一类有固定参数集合的参数。

Non-parametric learning algorithm :parametric grows with dataset  参数数目随着数据集增长

局部加权回归（Lwr）

对线性回归的拓展：

LR：fit θ to minimize

当处理的目标假设不是线性模型，比如一个忽上忽下的的函数，这时用线性模型就拟合的很差。为了解决这个问题，当我们在预测一个点的值时，我们选择和这个点相近的点而不是全部的点做线性回归。基于这个思想，就有了局部加权回归算法。

LWR的思想