CS229 lecture4 笔记

1. 局部加权线性回归

1. 线性回归是一种参数学习算法，而局部加权线性回归是非参数学习算法
   也就是说其数据/参数的个数（或存储空间）需要随着数据集的大小增长，
2. 适用情况：数据集维度较低但数据量很大

2. 逻辑回归

1. 尽管与线性回归的表达式相同，其区别在于θ的定义发生了变化（？）

3. 牛顿迭代法

1. 梯度上升方法需要很多次迭代才能最终收敛，而牛顿方法比用于优化θ值的梯度上升法更加快速

2. 接近最小值时牛顿迭代收敛十分迅速，这也就是为什么牛顿法所需收敛次数较少

3. 牛顿法的缺点：在高维问题中，如果θ是向量，那么牛顿法的每一步都将十分昂贵。（因为这时将涉及矩阵求逆）

4. 原理：把f(x0)在点x0的某邻域内展开成泰勒级数
   取其线性部分（即泰勒展开的前两项），并令其等于0，
   以此作为非线性方程的近似方程，若
   则其解为
   。
   这样，得到牛顿迭代法的一个迭代关系式：