机器学习笔记（1）梯度下降法线性回归C语言实现

最新推荐文章于 2022-02-02 17:21:40 发布

eydwyz

最新推荐文章于 2022-02-02 17:21:40 发布

阅读量635

点赞数

原文链接：https://blog.csdn.net/qq_16680695/article/details/100608200

版权

目录
序
原理总结
最小二乘法（小平方法）
描述回归程度的量相关系数R
实验梯度下降法
代码
总结
序
最优解问题一直在某些自控系统中有需求，譬如pid控制器，目前我还是凭经验调节，偶然搜到可以用机器学习调节PID参数于是乎便开始了学习。顺便复习高数线代概率论。

原理总结
是当（代价函数）Cost Function的值最小时取得的Parameters，为了达到这个目的，最值问题=求极值。多参数=求偏导。

最小二乘法（小平方法）
∑mi=0(yi−hθ(xi))2\sum_{i=0}^m{ (y^i - h_\theta (x_i))} ^2
i=0
∑
m

(y
i
−h
θ

(x
i

))
2

打公式好累
只要样本值与预测值的差的平方和最小就能得到一个较好的回归曲线。

描述回归程度的量相关系数R
总平方和(SST)
∑ni=0(yi−y¯)2\sum_{i=0}^n{ (y^i - \overline{y})}^2
i=0
∑
n

(y
i
−
y

)
2

回归平方和(SSR)

∑ni=0(yˆ−y¯)2\sum_{i=0}^n{ (\hat{y} - \overline{y})}^2
i=0
∑
n

(
y
^

−
y

)
2

残差平方和(SSE)
∑ni=0(yi−yˆ)2\sum_{i=0}^n{ (y^i - \hat{y})}^2
i=0
∑
n

(y
i
−
y
^

)
2

关系
SST=SSR+SSESST=SSR+SSE
SST=SSR+SSE

R=SSR/SST=1−SSE/SSTR=SSR/SST=1-SSE/SST
R=SSR/SST=1−SSE/SST

实验梯度下降法
梯度下降在今天的实验中由于学习率（步长）选择错误所以回归结果跑了十万八千里。让我明白了步长选择的重要性，用c语言调试不能显示散点图与回归曲线，所以很难受。
C语言结果

Python jupyter Notebook

代码
void gradient_descent_runner(double *x_data, double *y_data,double b, double k,double lr, int epochs)
{
   int i,j;
   double b_grad,k_grad;
   double m;

m = row;

for(i=0 ; i < epochs; i++)
   {
b_grad = 0;
k_grad = 0;


       for (j=0 ; j<m ; j++ )
       {
b_grad += (1/m) * ( ((k * x_data[j]) + b) - y_data[j] );
k_grad += (1/m) * x_data[j] * (((k * x_data[j]) + b) - y_data[j]);
           printf("%lf\n",b_grad);
       }
b = b - (lr * b_grad);
k = k - (lr * k_grad);
   }
   printf("b=%lf \nk=%lf",b,k);
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
总结
梯度下降法在学习率（步长）的选择尤为重要，有可能选取到局部最优解而不是全局最优解。可以随机取点比较结果取最小值。
————————————————
版权声明：本文为CSDN博主「全桥整流基围虾」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_16680695/article/details/100608200