机器学习——线性回归算法

一、线性回归算法理论

1、线性回归问题

（1）示例介绍

　　数据：工资和年龄（2个特征）

　　目标：预测银行会贷款多少钱（标签）

　　考虑：工资和年龄都会影响最终银行贷款的结果，那么它们各自有多大的影响？（参数）

　　 

　　通过图表可以看出随着工资和年龄的增长，贷款额度也随之增长。X1和X2的数量级是不同的，因此需要增加两个因子：θ₁x₁+θ₂x₂=y ，在已知x1,x2,y的情况下建立回归方程。方程的目标就是求出最合适的θ_1、θ_{2，这样就知道工资和年龄对贷款额度到底有多大的影响。}

（2）通俗解释

　　X1、X2就是我们的两个特征（年龄、工资），Y是银行最终会借给我们多少钱。

　　找到最合适的一条线（想象一个高维）来最好的拟合我们的数据点。（无法满足所有，满足尽可能多的点）

　　

　　图中红点是样本数据，想根据给定的数据集拟合一个平面，使得各个样本数据到达平面的误差最小。

　　这个图就是机器如何进行预测的（回归）它会根据贷款的历史数据（年龄和工资分别对应于X1与X2）找出来最好的拟合线（面）来进行预测，这样新的数据来了之后直接带入进去就可以得出来该给多少钱了。

（3）进一步整合回归方程

　　整合是把偏置项和权重参数项放到了一起（加了个θ₀让其都等于1）。

• 假设θ₁是年龄的参数，θ₂是工资的参数。
• 拟合的平面：hθ(x) = θ₀ + θ₁x₁ + θ₂x₂ 。参数θ1、θ2为权重项，对结果影响较大。θ₀是偏置项。
  
• 整合：
  

2、偏置项理解

　　一个传统的神经网络就可以看成多个逻辑回归模型的输出作为另一个逻辑回归模型的输入的“组合模型”。

　　因此，讨论神经网络中的偏置项b的作用，就近似等价于讨论逻辑回归模型中的偏置项b的作用。

（1）逻辑回归偏置项

　　逻辑回归模型本质：利用 y = WX +