机器学习 | 西瓜书学习笔记 ch03：线性模型

3.1 基本形式

• $$f(x)=w^{T}x+b$$

  其中
  $$w=(w_1;w_2;...;w_d)$$

• 线性模型的缺陷：XOR(异或问题)解决不了，无法用一条线进行划分.

• 补充

  • 梯度下降法

    • $$f(x+\Delta x)=f(x)+\Delta x^T\nabla f(x)$$

      其中
      $$\Delta x^T\nabla f(x)<0$$
      表示方向相反

    • $$\Delta x=-\gamma \nabla f(x)$$

      用查找法（二分法、黄金分割法或者其他算法）确定下面的值

    $$\gamma$$

3.2 线性回归

• 最小二乘法(least square method)
  ( w ∗ , b ∗ ) = a r g   m i n w , b ∑ i = 1 m ( f ( x i ) − y i ) 2 = a r g   m i n w , b ∑ i = 1 m ( y i − w