单变量线性回归

最新推荐文章于 2022-05-28 17:57:44 发布

一尘_127

最新推荐文章于 2022-05-28 17:57:44 发布

阅读量202

点赞数

分类专栏：机器学习 ml 文章标签：线性回归梯度下降

本文链接：https://blog.csdn.net/weixin_37562521/article/details/88407242

版权

机器学习同时被 2 个专栏收录

1 篇文章

订阅专栏

1 篇文章

订阅专栏

本文主要介绍了单变量线性回归，包括其数学表达形式、代价函数的定义及梯度下降法用于优化模型参数的过程。通过梯度下降，逐步找到使代价函数最小化的参数值，从而提高模型预测准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

吴恩达机器学习课程笔记

定义

单变量线性回归属于线性回归算法的一种，由于只含有一个特征/输入变量，因此称该模型为单变量线性回归模型。

数学表达形式： $\fn_phv h_\theta=\theta_0+\theta_1x$

代价函数

建模误差：真实值与模型预测值之间的差距。

为了提高模型的训练准确率，应使得代价函数最小，代价函数为: $J(\theta_{0},\theta_{1}) = \frac{1}{2m}\sum_{i=1}^{m}{(h_\theta(x^{(i)})-y^{(i)})}^2$

其中：

Hypothesis（假设）： $\fn_phv h_\theta=\theta_0+\theta_1x$

参数： ${\theta_{0}},{\theta_{1}}$

代价函数： $J(\theta_{0},\theta_{1}) = \frac{1}{2m}\sum_{i=1}^{m}{(h_\theta(x^{(i)})-y^{(i)})}^2$

目标： $\min \limits_{\theta_{0},\theta_{1}}J(\theta_0,\theta_1 )$

梯度下降

思想：开始时可随机选择一组参数 $(\theta_0,\theta_1)$ , 计算其代价函数，然后寻找下一个使得代价函数下降最多的参数组合，直到找到一个局部最优值（Local Minimum），由于选择的初始参数不同，最终得到的局部最小值也可能不同。

梯度下降算法：

repeat until convergence{

$\theta := \theta_j -\alpha \frac{\partial }{\partial \theta_{j}}{J(\theta_0,\theta_1)}$ ( for j = 0 and j = 1 )

}

使用梯度下降算法求解上述单变量线性回归模型的 $\min \limits_{\theta_{0},\theta_{1}}J(\theta_0,\theta_1 )$ ：

对代价函数进行求导，得

$\frac{\partial }{\partial \theta_j}{J(\theta_{0},\theta_{1}) = \frac{1}{2m}\sum_{i=1}^{m}{(h_\theta(x^{(i)})-y^{(i)})}^2}$

当 j=0 时， $\frac{\partial }{\partial \theta_0}{J(\theta_{0},\theta_{1}) = \frac{1}{m}\sum_{i=1}^{m}{(h_\theta(x^{(i)})-y^{(i)})}}$

当 j=1 时， $\frac{\partial }{\partial \theta_1}{J(\theta_{0},\theta_{1}) = \frac{1}{m}\sum_{i=1}^{m}({(h_\theta(x^{(i)})-y^{(i)})}}\cdot x^{(i)})$

则可将算法改写成：

Repeat{

$\theta_0 := \theta_0 -\alpha\frac{1}{m} \sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})$

$\theta_1 := \theta_1 -\alpha\frac{1}{m} \sum_{i=1}^{m}{((h_\theta(x^{(i)})-y^{(i)})\cdot x^{(i)})}$

}

参考文献

[1].https://github.com/learning511/Stanford-Machine-Learning-camp

[2].https://github.com/learning511/Stanford-Machine-Learning-camp/blob/master/Course/lecture-notes/lecture2.pdf

[3].https://www.coursera.org/learn/machine-learning