机器学习基础（一）——LinearRegression

假设输入输出间为线性关系，其中$\mathit{x} \in \mathbb{R}^n$,$\mathit{w} \in \mathbb{R}^n$,预测输出为$\widehat{\mathit{y}}$。定义输出为：

$$\widehat{\mathit{y}} = w^TX$$

使用均方误差作为P来衡量模型的性能，则损失函数为（其中$\frac{1}{2m}$的2加在常数项不影响结果）：

$$loss = \frac{1}{2m} \sum_{i=1}^{m} (\widehat{\mathit{y}}^{(i)} - y^{(i)})^2$$

则目标任务则为：

$$argmin loss: argmin \frac{1}{2m} \sum_{i=1}^{m} (\widehat{\mathit{y}}^{(i)} - y^{(i)})^2$$

可以直观的得出当$\widehat{\mathit{y}} - y$时loss最小，则问题可转化为

$$argmin \frac{1}{2m} ||\widehat{\mathit{y}} - y||_2^2$$

设$Cost = \frac{1}{2m} ||\widehat{\mathit{y}} - y||_2^2$，对$\mathit{w}$求导如下：

$$\mathit{ \frac{d}{dw}Cost = \frac{1}{m} \frac{d(Xw - y)^T(Xw - y)}{dw} }$$

$$\mathit{ = \frac{1}{2m} \frac{d(Xw - y)^T(Xw - y)}{dw} }$$

$$\mathit{ = \frac{1}{2m} \frac{d(w^TX^TXw - w^TX^Ty - y^TXw + y^Ty)}{dw} }$$

标量转置为其本身：

$$\mathit{ = \frac{1}{2m} \frac{d(w^TX^TXw - 2y^TXw + y^Ty)}{dw} }$$

$$\mathit{ \frac{d}{dw}Cost = \frac{1}{m} X^T(Xw - y) }$$

使用梯度下降法同步更新$\mathit{w}$：

$$\mathit{ w = w - \alpha \frac{d}{dw}Cost }$$

其中“偏置”通过训练时在样本中增加全1个体获取。

---

Note1：矩阵求导只是将单个数据的求导矩阵化，根据矩阵的组成方式即可得出结果，如果个别求导过程存在疑问，可以参考：https://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-vector_identities

以上为线性回归的基本思想，更具体描述待补充。
具体实现见：https://github.com/Alnlll/ML/tree/master/lr