从两个角度求解线性回归模型参数

最新推荐文章于 2023-03-19 22:58:01 发布

Jession67

最新推荐文章于 2023-03-19 22:58:01 发布

阅读量679

点赞数 1

分类专栏：机器学习文章标签：机器学习线性模型矩阵计算参数优化

本文链接：https://blog.csdn.net/qq_44697378/article/details/102292103

版权

本文介绍了线性回归模型的基本形式和两种参数优化方法：定义法和矩阵法。通过梯度下降，分别展示了如何计算损失函数的偏导数并更新参数。矩阵法由于避免了for循环，因此在执行效率上优于定义法。推荐在实际编程中使用矩阵法。

摘要由CSDN通过智能技术生成

1.基本形式

对含有 $n$ 个属性的样本x= $\left ( x_{1} ;x_{2};...;x_{n}\right )$ ,线性模型将通过属性的线性组合 $f\left (\mathbf{ x }\right )=w_{1}x_{1}+w_{2}x_{2}+...+w_{n}x_{n}+b$ 来对未知样本进行预测。为了形式上的简洁，一般采用向量形式写成 $f\left (\mathbf{ x }\right )=w^{T}\mathbf{x}+b$ ,其中 $\mathbf{w}=\left ( w_{1} ;w_{2};w_{3}...;w_{n}\right )$ (ps:在机器学习或者深度学习中，向量一般都是写成列向量的形式)。得到以上的线性模型的表达形式，下一步就是求解 $\mathbf{w}$ 和b，模型表达式最终也能因此确立。如何确定参数，关键是如何衡量 $f\left (\mathbf{ x }\right )$ 与实际的输出 $y$ 之间的差别，因此我们采用均方误差进行参数的度量：
$function=\sum_{i=1}^{m}\left ( f\left ( x^{i} \right )-y^{i} \right )^{2}$
其中 $m$ 表示样本个数， $i$ 上角标表示第 $i$ 个样本。那么我们优化的过程就是是的 $l o s s f u n c t i o n$ 越小越好。以下采用两种方法来优化参数。

2.1定义法

根据梯度下降的公式：
$\left [ w_{1}^{j};w_{2}^{j}...;w_{n}^{j} \right ]=\left [ w_{1}^{j-1};w_{2}^{j-1}...;w_{n}^{j-1} \right ]-\eta \left [ \frac{\partial L}{\partial w_{1}^{$