JFNK（Jacobian-free Newton-Krylov）方法

有人会问：非线性方程组不是用Newton循环方法就能解了吗？那为什么还需要JFNK方法呢？

我觉得，JFNK方法能解决Newton循环方法中最大的计算问题，让Newton循环方法不再痛苦。
Newton循环

Newton循环方法最大的痛苦，就是计算斜率。对于简单的方程式子还好，对于大型的非线性方程组，计算其斜率是非常痛苦的，这个过程往往需要手算，可以说是体力活，就算是码代码，你也要先手推出来公式，这个公式有时候就推不出来。

打个比方：

f(x) = x * log($\frac{x²}{e^x}$)

让你求导x=100处的导数，然后写出代码，想想就很困难。

而JFNK方法让我们可以不用计算这个斜率，就能把Newton循环继续下去，最终得到x的值。

在Newton循环中：

${\mathbf{x}}_{n+1}$ = ${\mathbf{x}}_n$ - $\frac{f({\mathbf{x}}_{n)}}{f^{\prime }({\mathbf{x}}_n)}$

每一步计算都是在求${\mathbf{x}}_{n+1}$，此时${\mathbf{x}}_n$是已知。
我们稍微变形一下就可以得到$f^{\prime }({\mathbf{x}}_n)$ * (${\mathbf{x}}_n$ - ${\mathbf{x}}_{n+1}$ ) = $f({\mathbf{x}}_{n)}$

简洁一点：u = $A^{-1}$b

其中 A = $f^{\prime }({\mathbf{x}}_n)$ 就是我们一直在说的Jacobian matrix。理解Jacobian矩阵与行列式——gwave的回答,理论上可以求但是实际上比较复杂。
u = (${\mathbf{x}}_n$ - ${\mathbf{x}}_{n+1}$ )
b = $f({\mathbf{x}}_{n)}$
u是未知量，b和A都是已知量。但我们不想求A，更不想求$A^{-1}$。
那么这边就可以用Krylov子空间迭代的方法Krylov子空间迭代
根据Krylov的方法，对于我们上面u = $A^{-1}$b的问题，有：

$A^{-1}$b ≈ $\sum _{i=0}^{m-1}$ ${\beta }_i$$A^i$b = ${\beta }_0$b + ${\beta }_1$Ab + ${\beta }_2$A²b…+ ${\beta }_{m-1}$$A^{m-1}$b

可以看出来，这样处理的话等号右边就没有单独出现的A，且每个A后面都跟着一个b。
这也就意味着我们不需要去计算A的值，只需要把Ab求出来就可以。（题外话，写到这就想到torch.mx）
对于A²b，我们也只需要先算出Ab，然后再将其结果当作新的b，再算一遍Ab就可以得到A²b，其他的以此类推。

那么会有人说，你连A都算不出来，Ab又怎么算？

神奇的地方来了，经过上式的推导，我们可以得出：

Ab = $f^{\prime }({\mathbf{x}}_n)$b = $\frac{f(x+ϵb)-f(x)}{ϵ}$

其中$ϵ$表示一个微小的扰动量，完全可以自己定义，前提是$ϵ$足够小。

这样一近似，Ab就可以通过f来计算出来的，这样也就不用计算A，也就是Jacobian-free。