Coursera - 机器学习基石 - 课程笔记 - Week 9

Linear Regression Problem

Linear Regression Problem

• 直观的概念：对一个客体的多个特征$\mathbf{x}=(x_0,x_1,\dots ,x_d)$，使用加权和计算得到一个实数值作为结果：$y\approx {\sum }_{i=0}^d{w}_i{x}_i$（不需要像感知器一样做进一步的符号判断，即分类）
• 线性回归假设：$h(\mathbf{x})={\mathbf{w}}^T\mathbf{x}$
• 误差衡量：平方误差$err(\hat{y},y)=(\hat{y}-y{)}^2$

Linear Regression Algorithm

• 线性回归的样本内误差$E_{in}(\mathbf{w})=\frac{1}{N}{\sum }_{n=1}^N({\mathbf{w}}^T{\mathbf{x}}_n-y_n{)}^2=\frac{1}{N}\Vert \mathbf{X}\mathbf{w}-\mathbf{y}{\Vert }^2$
• 求梯度
  • $E_{in}(\mathbf{w})=\frac{1}{N}\Vert \mathbf{X}\mathbf{w}-\mathbf{y}{\Vert }^2=\frac{1}{N}({\mathbf{w}}^T{\mathbf{X}}^T\mathbf{X}\mathbf{w}-2{\mathbf{w}}^T{\mathbf{X}}^T\mathbf{y}+{\mathbf{y}}^T\mathbf{y})$
  • $\nabla E_{in}(\mathbf{w})=\frac{2}{N}({\mathbf{X}}^T\mathbf{X}\mathbf{w}-{\mathbf{X}}^T\mathbf{y})$
• 对可逆的${\mathbf{X}}^T\mathbf{X}$：
  • 唯一解：${\mathbf{w}}_{lin}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}={\mathbf{X}}^{†}\mathbf{y}$（${\mathbf{X}}^{†}$有$d+1$个特征值为1）
  • 普遍情形：一般情况下都有$N\gg d+1$，逆矩阵存在
• 没有反矩阵存在：
  • 可能有多个解：${\mathbf{w}}_{lin}={\mathbf{X}}^{\ast }\mathbf{y}$，以其他方式定义${\mathbf{X}}^{\ast }$

Generalization

• 线性回归是一种学习算法：
  • $E_{in}$很小
  • $E_{out}$也很小
  • 隐式地迭代“伪逆”过程
• 另一种解释方法：$E_{in}$的平均值
  • E ˉ i n = ϵ D ∼ P N { E i n ( w L I N   w . r . t .   D ) } \bar E_{in} = \epsilon_{\mathcal D \sim P^N} \{ E_{in}(\bold w_{LIN} \ w.r.t. \ \mathcal D) \} Eˉin​=ϵD∼PN​{Ein​(wLIN​ w.r.t. D)}
  • 上式可表示为$\text{noise level}\cdot (1-\frac{d+1}{N})$，即数据量越大越接近噪声水平
  • 还有${\bar{E}}_{out}=\text{noise level}\cdot (1+\frac{d+1}{N})$
• 学习曲线
  • 当$N\to \infty$时，两个误差都收敛于${\sigma }^2(\text{noise level})$
  • 泛化误差期望：$2\frac{d+1}{N}$
  • 当噪声不是很大时，学习确实发生了

Linear Regression for Binary Classification

• 可否使用线性回归来完成二元分类
• 可以证明$er{r}_{0-1}\le er{r}_{sqr}$
• 可以使用线性回归的平方误差给出$E_{out}$的更宽松上界$\widehat{err}$
• 相对于二元分类PLA算法这一NP任务，线性回归求得最佳解的效率更高
  • 使用上界的松紧程度权衡算法效率
• 思路：可以先使用线性回归达到一个足够好的程度作为初始状态进行PLA