机器学习_线性回归

机器学习_线性回归

• 训练集：用来训练，构建模型
• 验证集：用来在模型训练阶段测试模型的好坏
• 测试集：等模型训练好之后，再用测试集来评估模型的好坏
• 回归：预测数据为连续性数值
• 分类：预测数据为类别型数据，并且类别已知
• 聚类：预测数据为类别型数据，但是类别未知

1、一元线性回归

• 回归分析：用来建立方程模拟两个或者多个变量之间如何关联
• 自变量：被用来进行预测的变量（输入）
• 因变量：被预测的变量（输出）
• 一元线性回归：包含一个自变量一个因变量
• 多元回归分析：包含两个以上的自变量
• 表达式：$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$ ， ${\theta }_1$为回归线的斜率，${\theta }_0$为回归线的截距

2、代价函数

• 误差平方：$(y-h_{\theta }(x){)}^2$，y为真实值，$h_{\theta }(x)$为预测值
• 找到合适的参数，使得误差平方和：$J({\theta }_0,{\theta }_1)=\frac{1}{2m}{\Sigma }_{i=1}^m{(y^i-h_{\theta }(x^i))}^2$最小
• 相关系数：$r_{xy}=\frac{\Sigma (X_i-\overline{X})(Y_i-\overline{Y})}{\sqrt{\Sigma (X_i-\overline{X}{)}^2\Sigma (Y_i-\overline{Y}{)}^2}}$ ---->相关系数越大，越相关
• 决定系数：用于描述非线性或者有两个及两个以上自变量的相关关系
  （1）总平方和（SST）：${\Sigma }_{i=1}^n(y_i-\overline{y}{)}^2$
  （2）回归平方和（SSR）：${\Sigma }_{i=1}^n(\hat{y}-\overline{y}{)}^2$，$\hat{y}$为预测值
  （3）残差平方和（SSE）：${\Sigma }_{i=1}^n(y_i-\hat{y}{)}^2$
  三者关系为：SST=SSR+SSE
  （4）决定系数：$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$

3、梯度下降法

• 公式：${\theta }_j:=\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)$ （for j = 0 and j = 1） $\alpha$为学习率，步长
• 正确做法：同步更新
  $temp0:={\theta }_0-\alpha \frac{\partial }{\partial {\theta }_0}J({\theta }_0,{\theta }_1)$
  $temp1:={\theta }_1-\alpha \frac{\partial }{\partial {\theta }_1}J({\theta }_0,{\theta }_1)$
  ${\theta }_0:=temp0$
  ${\theta }_1:=temp1$
• 用梯度下降法求解线性回归：
  （1）${\theta }_0:={\theta }_0-\alpha \frac{1}{m}{\Sigma }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$
  （2）${\theta }_1:={\theta }_1-\alpha \frac{1}{m}{\Sigma }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x^{(i)}$
• 线性回归的代价函数是凸函数