机器学习第二周

多元线性回归

标准符号：下标代表第几个特征；上箭头代表是列表（向量）；n代表特征个数。

多元线性回归（multiple linear regression）

---------------------------------------------------------------------------------------------------------------------------------

矢量化（Vectorization）

矢量化可以使用python中的NumPy库：1.使代码更短 2.执行更快

利用并行技术 in parallel

---------------------------------------------------------------------------------------------------------------------------------

梯度下降法用于多元线性回归

正态方程：有库支持，线性回归中找到w和b的另一种方法。（仅用于线性回归，不能推广）

对于多个特征，如果特征之间取值范围差距大，参数的等值图会是椭圆（梯度下降慢）；反之，归一化使得收敛快。

特征缩放（feature scaling）

方法一：除以最大值

方法二：均值归一化

方法三：Z-score

什么时候进行特征缩放？使特征范围在-1～1附近

如何判断梯度下降收敛（convergence）

---------------------------------------------------------------------------------------------------------------------------------

选择步长（learning rate）：首先选很小的步长α，检查损失函数是否减少，如果不减少，代码可能有问题。

---------------------------------------------------------------------------------------------------------------------------------

特征工程（feature engineer）：重新组合原始特征

---------------------------------------------------------------------------------------------------------------------------------

多项式回归：结合多元线性回归和特征工程。