【刘二大人PyTorch深度学习实践】Lecture_03_Gradient Descent随手笔记

Optimization Problem

转化为最优化问题：找到使得代价函数最小值的最优w

方法：梯度下降法

Gradient Descent Algorithm

导数大于0，函数递增，目的是向左靠：w减去导数（大于零）的数，向左（中间）靠，cost减小

导数小于0，函数递减，目的是向右靠：w减去导数（小于零）的数，等于加上大于零的数，向右（中间）靠，cost减小

所以如果要下降，就得取导数的负方向。负的导数的方向就是最小值的方向。
梯度下降算法其实也算是贪心算法，因此找到的是局部最优点。

贪心算法

贪心算法是一种在每一步选择中都采取在当前状态下最好或最优的选择，从而希望导致结果是最好或最优的算法。贪心算法的步骤可以总结为以下几点:

1. 问题建模：将原始问题抽象成一个数学模型，明确定义问题的目标函数。
2. 局部最优选择：在每一步选择当前状态下的最佳解决方案，通常是局部最优的。
3. 解决冲突：处理不同步骤之间可能出