用平常话来讲解梯度下降

前言

• 只要你看到这篇博文了，那么我就有必要告诉你，梯度下降不是一种机器学习算法，而是一种基于搜索的优化方法。梯度下降与最小二乘法有关系，梯度下降是迭代法的一种,可以用于求解最小二乘法问题（当然线性与非线性都可以），所以需要通过一次一次的迭代来找到找到一组参数能让我们的损失函数最小就可以了。那么什么是损失函数呢？或者我们如何找到那个正儿八经的靠谱的损失函数呢。

损失函数

说到了损失函数，我找了半天的图片，想比较直观的形容出来损失函数，结果没找到，还是别人博客里面的图片靠谱。

引用博主 alw_123 博客中的一篇博客中的图片

从上一个图片中我们找到了什么是损失函数，大家从博文中也可以总结出。这个梯度下降就是来找一个参数，让损失函数最小。那么我们找的这个参数是什么呢？说白了就是找到一个正经儿点的权重。

权重

• 通过刚才的描述。梯度下降就是让损失函数最小，让我们损失函数最小就是寻找权重，那么权重究竟是啥呢？应该怎么找呢？
  • 权重是个啥呢？
    • 套用百度百科的一句话：权重指某一因素或指标相对于某一事物的重要程度，其不同于一般的比重，体现的不仅仅是某一因素或指标所占的百分比，强调的是因素或指标的相对重要程度，倾向于贡献度或重要性
  • 我们应该怎样找权重呢？
    • random.randint肯定是不靠谱,因为多少个特征就对应着多少个权重，少点还好，要是一亿个呢？肯定没得找！所以给大家一个方法因为我们是梯度下降，所以当然还是找梯度了。
  • 那么梯度是啥呢？
    • 如果写出来公式是这样的！
      
    • 如果换一种写法就是这样
    • 
    • 这个时候可以明显的看出来梯度，无非就是把权重对损失函数的偏导算出来排成一个向量而已。而且梯度还有个性质，就是梯度方向是函数值增长最快的的方向。这个性质怎么理解呢？举个栗子。假如我是个想要成为LOL郊区王者的死肥宅，然后要成为郊区王者可能有这么几个因素，一个是英雄池的深浅，一个是大局观，还有一个是骚操作。他们对我成为王者来说都有一定的权重。如图所示，每一个因素的箭头都有方向（也就是因素对于我成为王者的偏导的方向）和长度（偏导的值的大小）。然后在这些因素的共同作用下，我最终会朝着一个方向来训练（好比物理中分力和合力的关系），这个时候我就能以最快的速度向郊区王者更进一步。
      
      也就是说我如果一直朝着最终的那个方向努力的话，理论上来说我就能以最快的速度成为郊区王者。

套路

OK。现在我们知道了梯度的方向是函数增长最快的方向，那我在梯度前面取个负号（反方向），那不就是函数下降最快的方向了么。（还是可以根据郊区王者这个图来自行脑补= =）所以哇，梯度下降它的本质无非就是更新权重的时候是沿着梯度的反方向更新。好比下面这个图，假如我是个瞎子，然后莫名其妙的来到了一个山谷里。现在我要做的事情就是走到山谷的谷底。因为我是瞎子，所以我只能一点一点的挪。要挪的话，那我肯定是那我的脚在我四周扫一遍，觉得哪里感觉起来更像是在下山那我就往哪里走。然后这样循环反复一发我最终就能走到山谷的谷底。

循环干的事情就相当于我下山的时候在迈步子，代码里的α装逼点叫学习率，实际上就是代表我下山的时候步子迈多大。值越小就代表我越苟，步子迈得小，深怕掉坑里。值越大就代表我越骚，但是容易扯着蛋~~

本博文改写自 alw_123博客中的《通俗理解梯度下降》
url:https://blog.csdn.net/alw_123/article/details/83065764

添加了笔者一些自己的话，后期也会对本文不断的增删改。让这篇文章更容易阅读