对抗攻击基础知识--梯度

对梯度的方向问题理解的不够透彻，在网上找到了一些讲解，存档一下便于自己记录回顾。

知乎：

为什么梯度反方向是函数值局部下降最快的方向？ - 知乎刚接触梯度下降这个概念的时候，是在学习机器学习算法的时候，很多训练算法用的就是梯度下降，然后资料和老师们也说朝着梯度的反方向变动，函数值下降最快，但是究其原因的时候，很多人都表达不清楚。所以我整理出…https://zhuanlan.zhihu.com/p/24913912视频：

【多元微分专题】第六期：方向导数和梯度的直观理解_哔哩哔哩_bilibili两件事第一个：考研er们，想报我考研课程的同学直接加我微信咨询。微信号：xiaocuishuoshu第二个：我的所有视频都已分类好，放到了我的公众号“小崔说数”里。大家可以关注一下https://www.bilibili.com/video/BV1uZ4y1L7bB?spm_id_from=333.999.0.0注意：

1、t类比Δx/Δy的作用，t->0，t趋近于0，求极限。

2、方向偏导是偏微分的特殊情况。

待解决：

1、梯度中的learning rate到底是什么？有什么用？

什么是学习率？

学习率是指导我们，在梯度下降法中，如何使用损失函数的梯度调整网络权重的超参数。

new_weight = old_weight - learning_rate * gradient

学习率 (Learning rate) 作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。 合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。

学习速率 (learning rate) 是指导我们该如何通过损失函数的梯度调整网络权重的超参数。

在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。 通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。