线性回归

线性回归

线性回归是用来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在实际应用中是用来分析目标与特征之间的关系。
线性回归预测模型：

Y是预测值
n是特征数
xi是第i个特征值
θj是第j个模型参数

向量化：

损失函数（成本函数）

损失函数用于描述模型预测值与真实值的差距大小。损失函数越小说明模型效果越好。线性回归中用的损失函数为均值平方差（MSE）

梯度下降

梯度下降是一种非常通用的优化算法，能够为大范围的问题找到最优解。梯度下降的中心思想就是迭代的调整参数从而使成本函数最小化。
梯度下降步骤：

• 初始化θ
• 将θ沿着 损失函数变小的方向变化 ，也就是 θ沿着负梯度的方向变化

注：
1.梯度下降中一个重要参数是每一步的步长，这关乎学习率，