机器学习_吴恩达_week2（多变量线性回归）

目录

一、多变量线性回归

1.1 多维特征

1.2 梯度下降在多维特征中应用

1.3 梯度下降实践1：特征缩放

1.4 梯度下降实践2：学习率

1.5 多特征和多项式回归

1.6 正规方程

1.7 正规方程及不可逆性（选修）

二、octave与Matlab介绍及安装

三、Octave/Matlab教程

---

一、多变量线性回归

1.1 多维特征

一句话总结：
多变量线性回归的模型函数是：，其中 = 1

1.2 梯度下降在多维特征中应用

一句话总结：
多变量线性回归的梯度下降是：
repeat {
        
        (要同时更新，j = 0,1,...,n)
}

1.3 梯度下降实践1：特征缩放（特征归一化）

在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛。


上面是通过“特征值/特征最大值”的办法进行特征缩放的，下面是另外一种方法：

一句话总结：
特征缩放的目的：把特征值约束在[-1, 1]这个区间范围附近，有利于梯度下降更快的收敛。
一般用(特征值 - 平均值) / (max - min)，或者(特征值 - 平均值) / 标准差

1.4 梯度下降实践2：学习率

本节将讨论两个问题：

• 如何判断梯度下降正常工作了？
• 如何选择学习率

判断梯度下降正常工作，一般有两种办法：
一是：画图法。见上图左侧，横坐标迭代次数，纵坐标是代价函数，随着迭代进行，代价函数越来越小，说明梯度下降算法运行正确。
二是：可以当代价函数<0.001时，认为收敛了
第一种画图法更好更直观。

下面讨论如何选择学习率：

上图中，左侧的两个代价函数图，都是不正确的，正确的是越来越低。出现的原因是选大了
数学家证明过，当相当小时，随着迭代越来越小的。但是如果太小，收敛慢。

一般是按3的倍数取，找一个最小的可能值，再找一个最大的可能值，然后在这个范围内找一个最大可能合适值。

1.5 多特征和多项式回归

todo

1.6 正规方程

todo

1.7 正规方程及不可逆性（选修）

todo

二、octave与Matlab介绍及安装

略

三、Octave/Matlab教程

略