自学梯度下降1——传统梯度下降原理及数学推导

PS：本文只是自学笔记

一、引子       

       梯度下降法是最基本、最常用的优化方法之一，为了便于理解，常规性运用烂大街的例子——下山问题。

        假设我们位于黄山的某个山腰处，山势连绵不绝，不知道怎么下山。于是决定走一步算一步，也就是每次沿着当前位置最陡峭最易下山的方向前进一小步，然后继续沿下一个位置最陡方向前进一小步。这样一步一步走下去，一直走到觉得我们已经到了山脚。这里的下山最陡的方向就是梯度的负方向。

二、数学原理推导

一阶泰勒展开式