Machine Learning Week 1 Quiz 2 (Linear Regression with One Variable) Stanford Coursera_错题汇总

1。

设f是某种功能所以

f（θ0，θ1）输出一个数字。对于这个问题，

f是一些任意/未知的平滑函数（不一定是

线性回归的成本函数，因此f可能具有局部最优）。

假设我们使用梯度下降来尝试将f（θ0，θ1）最小 
化为θ0和θ1的函数。哪一个

以下陈述是真的吗？（检查所有适用。）

 

回答：

 

• 即使学习率α非常大，梯度下降的每次迭代都会减小f（θ0，θ1）的值。

• 如果学习速率太小，则梯度下降可能需要很长时间才能收敛。

• 如果θ0和θ1初始化为局部最小值，则一次迭代不会改变它们的值。

• 如果θ0和θ1被初始化使得θ0=θ1，那么通过对称性（因为我们同时更新两个参数），在梯度下降的一次迭代之后，我们仍将具有θ0=θ1。

对或错	声明	说明
真正	如果学习速率太小，则梯度下降可能需要很长时间才能收敛。	如果学习率太小，梯度下降的每一步都只有很小的补偿，因此需要很长时间去收敛
真正	如果θ0和θ1初始化为局部最小值，则一次迭代不会改变它们的值。	在局部最小时，梯度为零，因此不会改变参数的值
假	即使学习率α非常大，梯度下降的每次迭代都会减小f（θ0，θ1）的值。	如果学习率太大，迭代会越过局部最小值，可能会导致增加F（θ0，θ1）
假	如果θ0和θ1被初始化使得θ0=θ1，那么通过对称性（因为我们同时更新两个参数），在梯度下降的一次迭代之后，我们仍将具有θ0=θ1。	θ0和θ1的公式是不同的，就算初始值相同，在一次迭代之后也不一定相同

其他选择：

对或错	声明	说明
真正	如果渐变下降的前几次迭代导致f（θ0，θ1）增加而不是减少，则最可能的原因是我们将学习速率设置为过大的值	与第三选项同理
假	无论θ0和θ1如何初始化，只要学习率足够小，我们就可以安全地预期梯度下降会聚到同一解决方案	这不是真的，取决于初始条件，梯度下降可能最终在不同的局部最优
假	将学习率设置得非常小是无害的，并且只能加速梯度下降的收敛。	如果学习速率很小，则梯度下降最终会在每次迭代中占用极小的步数，因此这实际上会减慢（而不是加速）算法的收敛。

Which of the following are reasons for using feature scaling? 

A.It prevents the matrix XTX (used in the normal equation) from being non-invertable (singular/degenerate).

它防止了XTX 矩阵的不可逆

B.It speeds up gradient descent by making it require fewer iterations to get to a good solution.

加快了梯度下降，通过更少的迭代来达到一个好的结果

C.It speeds up gradient descent by making each iteration of gradient descent less expensive to compute.

每一次迭代的较少计算成本来加快梯度下降

D.It is necessary to prevent the normal equation from getting stuck in local optima.

防止陷入局部最优

特征缩放是通过避免当一个或多个特征的值大于其余值所需的额外迭代而加速梯度下降。线性回归的成本函数J(θ)没有局部最优

 

比如你有两个输入的特征x1，x2（y=w1x1+w2x2+b），如果两个特征的分布范围很不一样，就最好做特征缩放。

也就是Feature Scaling的目的是make different features have the same scaling。

为什么呢？

x1小，x2大，那么改变w1对y的影响就很小，而略微改变w2对y的影响就很大。这样子做出来的损失函数的样子就是一个扁扁的椭圆。

放上课件上的图

 

 

可以看到左边就是上面所说的情况，这样的情况下做梯度下降就会比较难。因为对学习率的改变要求很大。

而右边相对就会容易很多，因为由于是偏向正圆，无论在哪个点开始做梯度下降都会向着圆心走。

所以做梯度缩放就是让Loss L更接近圆，使得梯度下降更有效率。

原博客 ：https://blog.csdn.net/jesmine_gu/article/details/74614273