供参考

最新推荐文章于 2023-03-07 23:56:48 发布

wtysuper6

最新推荐文章于 2023-03-07 23:56:48 发布

阅读量166

点赞数

分类专栏：机器学习文章标签：线性回归损失函数参数更新编程实现迭代优化

本文链接：https://blog.csdn.net/a763470525/article/details/113992307

版权

机器学习专栏收录该内容

6 篇文章 0 订阅

订阅专栏

参照(2.2)式子

$0\approx r = \begin{bmatrix} x_{2}& x_{1}& x_{0}\\ x_{3}& x_{2}& x_{1}\\ x_{4}& x_{3}& x_{2}\\ x_{5}& x_{4}& x_{3}\\ x_{6}& x_{5}& x_{4} \end{bmatrix} \begin{bmatrix} 1\\ -f_{1}\\ -f_{2} \end{bmatrix}$ （1）

转换样式

$0\approx r = \begin{bmatrix} 1 & a_{1} & a_{2} \end{bmatrix} \begin{bmatrix} x_{2} & x_{3} & x_{4} & x_{5}& x_{6}\\ x_{1}& x_{2} & x_{3} & x_{4} & x_{5}\\ x_{0}& x_{1} & x_{2} & x_{3} & x_{4} \end{bmatrix}$ （2）

其中 $a_{1} = -f_{1},a_{2} = -f_{2}$

符合线性回归公式

$\frac{\partial}{\partial \theta_{j} }J(\theta ) =\sum_{i=1}^{m}(h_{\theta} (x^{(i)})-y^{(i)})x_{j}$ （3）

因此参数 a 更新公式参考

$\theta _{j}:=\theta _{j}-\alpha\frac{\partial}{\partial \theta_{j} }J(\theta )$ （4）

编程详情：

（1）、将多条输入输出数据向量如 $\begin{bmatrix} x_{2} & x_{1} & x_{0} \end{bmatrix}$ ， $\begin{bmatrix} x_{3} & x_{2} & x_{1} \end{bmatrix}$ ， $\begin{bmatrix} x_{4} & x_{3} & x_{2} \end{bmatrix}$ 组合成二维数组

$X = \begin{bmatrix} x_{2} & x_{3} & x_{4} & x_{5}& x_{6}\\ x_{1}& x_{2} & x_{3} & x_{4} & x_{5}\\ x_{0}& x_{1} & x_{2} & x_{3} & x_{4} \end{bmatrix}$

（2）、初始化 a 数组为 a = [1, 0.5, 0.5]

（3）、求取 a * X 的值 r_real $r_{real} = \begin{bmatrix} r_{1} &r_{2} &r_{3} &r_{4} &r_{5} \end{bmatrix}$

（4）、参照公式 3 计算损失值

$cost_{gradient} = \frac{\partial}{\partial \theta_{j} }J(\theta ) = (r_{real} - r) *X^{T} = [r_{real1} -0, r_{real2}-0, r_{real3}-0, r_{real4}-0] * X^{T} = [m_{1}, m_{2}, m_{3}]$

（5）、给个学习率如0.01，根据公式4 求取更新后的系数 $a_{new} = a_{old} - rate * \frac{\partial}{\partial \theta_{j} }J(\theta )=[1, 0.5, 0.5] - [m1, m2, m3]= [a1, a2, a3]$

（6）、迭代3到5，直到 $cost=J(\theta )=\frac{1}{2} \sum_{i=1}^{m}(h_{\theta} (x^{(i)})-y^{(i)})^{2}$ 小于1e-5

wtysuper6

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
供参考

参照(2.4)式子（1）转换样式（2）其中符合线性回归公式（3）因此参数 a 更新公式参考（4）编程详情：（1）、将多条输入输出数据向量如，，组合成二维数组（2）、初始化 a 数组为（3）、求取 a0 * X 的值 r0（4）、参照公式3 计算损失值(r0 - r) = [r0 -0, r0-0, r0-0, r0-0] * X 得到（5）、给个学习率如0.01，根据公式4 求取更新后的系数（6）、迭代3到5，直到（r...
复制链接

扫一扫

专栏目录