机器学习——线性回归

线性回归基础原理

线性回归的应用场景：

• 房价预测
• 销售额度预测
• 金融：贷款额度预测、利用线性回归以及系数分析因子

线性回归定义与公式
线性回归（Linear regression）是利用回归方程（函数）对一个h或多个自变量(特征值）和因变量（目标值）之间进行建模的一种分析方式。

• 特点：只有一个自变量的情况称为单变量回归，多于一个自变量的情况叫做多元回归
  
  w为权重

举例：

• 期末考试成绩：0.7×考试成绩+0.3×平时成绩

像这样，特征值和目标值之间建立了一个关系，这个关系可以理解为线性模型。

线性关系一定是线性模型
线性模型不一定是线性关系

线性回归的损失和优化原理（理解记忆）

假设房子，真实的数据之间存在这样的关系

• 真实关系：真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率

现在，我们随意指定一个关系（猜测）

• 随机指定关系：预测房子价格 = 0.25×中心区域的距离 + 0.14×城市一氧化氮浓度 + 0.42×自住房平均房价 + 0.34×城镇犯罪率

请问这样的话，会发生什么？真实结果与我们预测的结果之间是不是存在一定的误差呢？类似这样样子

那么存在这个误差，我们将这个误差给衡量出来

损失函数
总损失定义为：

y_i为第i个训练样本的真实值
h(x_i)为第i个训练样本特征值组合预测函数
又称最小二乘法
如何去减少这个损失，使我们预测的更加准确些？既然存在了这个损失，我们一直说机器学习有自动学习的功能，在线性回归这里更是能够体现。这里可以通过一些优化方法去优化（其实是数学当中的求导功能）回归的总损失！！！

线性回归API
sklearn.linear_model.LinearRegression(fit_intercept=True)
通过正规方程优化

• fit_intercept：是否计算偏置
• LinearRegression.coef_：回归系数
• LinearRegression.intercept_：偏置

sklearn.linear_model.SGDRegressor(loss=“squared_loss”, fit_intercept=True, learning_rate =‘invscaling’, eta0=0.01)
SGDRegressor类实现了随机梯度下降学习，它支持不同的loss函数和正则化惩罚项来拟合线性回归模型。

• loss:损失类型
• loss=”squared_loss”: 普通最小二乘法
• fit_intercept：是否计算偏置
• learning_rate : string, optional

学习率填充

• ‘constant’: eta = eta0
• ‘optimal’: eta = 1.0 / (alpha * (t + t0)) [default]
• ‘invscaling’: eta = eta0 / pow(t, power_t)
• power_t=0.25:存在父类当中

对于一个常数值的学习率来说，可以使用learning_rate=’constant’ ，并使用eta0来指定学习率。

• SGDRegressor.coef_：回归系数
• SGDRegressor.intercept_：偏置

sklearn提供给我们两种实现的API， 可以根据选择使用