线性回归原理和实践--《机器学习实战》笔记

回归与分类的区别

和分类问题一样，回归问题也是预测目标值的过程。回归与分类不同点在于，前者预测连续型变量，后者预测离散型变量。

线性回归

• 结果易于理解
• 对非线性的数据拟合不好
• 适用于数值型和标称型数据

线性回归步骤

1. 将标称型数据编码为二值数据(one-Hot编码)
2. 训练算法得到回归系数
3. 利用$R^2$ 评价模型
4. 使用回归系数预测数据

回归系数

对于给定的训练数据集$x$如何训练得到回归系数$w$呢？常用的是采用平方误差最小原则，也就是:

$$min\sum_{i=1}^N(y_i-x_i^Tw)^2$$

用矩阵表示可以表示为$(y - Xw)^T(y-Xw)$。对$w$求导，有$X^T(Y-Xw)$,关于标量与向量求导内容可参考。令导数为零有：

w^=(XT