3-Linear Regression with Multiple Variables

一、Gradient Descent for Multiple Variables

多属性（multiple features）情况下的线性回归

• 回归方程Hypothesis：  ， 其中  为待定系数

• 代价函数Cost function：

• 梯度下降算法：
  

二、梯度下降法的一些技巧

1. Feature Scaling 训练数据的预处理

• 将所有属性的取值范围化为近似的数量级，如 [-1,1]。方法是将属性值除以其取值范围：xi := xi/range。
• Mean normalization 使属性的均值趋于0，方法是将属性值减去其均值再除以取值范围：xi := (xi-avg)/range。

2. Learning Rate 关于α的选择

• α 太小：收敛太慢
• α 太大：J(θ)在收敛过程中可能会不减小，可能不收敛
  选择方法：...，0.001，0.003，0.01，0.03，0.1，0.3，1，...

三、Normal Equation

通过解析的方式求得未知参数：

• 已知的 Cost function：
   

• 求解思想：当其导数为0是，为其极点：
   (for every j)

• 可得：

• 示例：
  

• Gradient Descent 与 Normal Equation的对比

  • Gradient Descent: 需要选择合适的α；需要多次迭代；即使n很大，也能很好的工作
  • Normal Descent: 不需要选择α；不需要迭代；需要计算  ，当n很大时效率较低

四、Normal Equation Noninvertibility 一些特殊情况

在Normal Descent方法中需要计算  ，其中涉及矩阵的逆。而有些矩阵式没有逆矩阵的，这些矩阵称为singular/degenerate martix 。这种情况出现的比较少，如果发现这种情况，从以下两个方面考虑：

• 属性冗余(线性相关)：*剔除相关多余属性
  E.g. x1 = size in feet2 , x2 = size in m2

• 属性过多：删除某些属性，或者使用"regularization方法"。
  E.g. m <= n 即属性数量比样本数量还多