机器学习之代价函数值---------迭代次数图像的运用技巧

---

前言

这个图像是线性回归过程中非常重要的一个图像，我们能根据它知道很多有用的信息。

---

一、确定什么时候收敛于最小值

相信很多人都是事先规定一个阈值，比如十的负几次方，只要迭代到代价函数小于这个值就会停止迭代。但是这样是不准确的，因为线性回归就会有平方，看似很小的代价，可能其实代价很大。那么我们确定停止迭代的时机就是这个图像趋于平行与X轴，平缓的时候，几乎不发生变化的时候停止迭代。这里引用B站学习的图：

二、学习率的取值

首先学习率取值的问题

• 取值过大会无法收敛到最小值，二让代价函数不断变大，从而代价越来越大。
• 取值过小，一次移动的步伐太小，需要迭代很多次，会让电脑不断的运行而无法结束
  
• 显然我需要知道的是，如果学习率足够小，会不断的变小。是不会变大的

怎么选取学习率呢

• 大约成三倍递增，直到找到一个下降较快，但是一直下降的值
  引用：
  

---

总结

图像很重要，可以看出什么时候停止，选取什么学习率