C++梯度下降法学习笔记（一）

最新推荐文章于 2022-11-27 17:07:34 发布

肥鼠路易

最新推荐文章于 2022-11-27 17:07:34 发布

阅读量1.5k

点赞数

分类专栏： C++学习笔记文章标签： C++

本文链接：https://blog.csdn.net/weixin_44991673/article/details/101622892

版权

这篇博客介绍了梯度下降法的基本概念，并通过C++编程实现了一维梯度下降法，探讨了编程中遇到的问题和解决方案。还讨论了多变量梯度下降法，指出在面对可能存在的局部极值时，可以通过随机化初始点来寻找全局最优解。最后提到了使用Eigen库进行矩阵运算以支持多变量情况。

摘要由CSDN通过智能技术生成

什么是梯度下降法

我们首先要明确，梯度下降法不是一个机器学习的算法，而是一种基于搜索的最优化算法。一般我们想要求解一个损失函数的最小值，就会运用到梯度下降法。(梯度上升法最大化效用函数)
深入浅出–梯度下降法及其实现

编程前的准备

在这里插入图片描述我们的感性认识其实非常容易建立。关键是下一步我如何编程，我如何编程：-（。
我的第一次编程是这样的，结果会出现错误。出错的原因在于X0赋值有问题。导致了实验值和理论值有偏差。同时，因为自己对于损失函数和参数之间的关系没有把握好，以至于迷糊.jpg。

编程代码

#include<iostream>
#include<math.h>
const double a=1;
const double b=0.4;
const double c=-100;

double f(double x)
{
   
    return a*x*x+b*x+c;
}
double f_prime(double x)
{
   
    return 2*x*a+b;
}

int main()
{
   
    /*max_iterations:max_iter
      min_gradient:gm
      starting_point:x0*/
   uint max_iter =1000;
   double gm = 0.0001