优化与大家的日常生活息息相关。具体是指改变输入 x 以最小化或者最大化某个函数
x∗=argminf(x),x为实数.
如何确定较好的的最小化算法使得上述问题的求解高效准确?先假定函数的导数记为 f′(x) 或 ∂f(x)/∂x ,表示的是 f(x) 在点 x 处的斜率。直观的描述是导数表明如何缩放输入的小变化才能在输出获得相应的变化:
因此发现导数对于函数最小化优化很有用,它可以直接告诉我们如何更改 x 来略微改善
x2=x1−ϵf′(x1)={
向