机器学习训练算法一(计算机求任意连续函数的导数计算方法)

最近几年人工智能正在如火如荼的飞速发展，用计算机完成机器学习变成了很多朋友的一种强烈需求；同时，在机器学习的训练方法中会用到很多的导数和偏导数，本人推荐一种用计算机CPU和GPU的强大的计算能力来求导数和偏导数的的近似的方法，同时使用Matlab/Python程序做实验来验证导数的近似结果的准确性。

1、简单函数

1.1、案例

若函数$f(x)=2x^2+3$，求$f^{\prime }(3)$的值。

1.2、定义法（数值法求导）

由定义可知$f^{\prime }(x)=\underset{\Delta x\to 0}{\lim }\frac{f(x+\Delta x)-f(x)}{\Delta x}$，若$\Delta x=0.0001$，那么$f^{\prime }(3)=\frac{f(3+0.0001)-f(3)}{0.0001}=12.0002$。该方法适用于所有场景下的连续的复杂函数，且可以通过调整$\Delta x$的值大小来获取到指定精度下的导数值(由于计算机的强大的计算能力，可以使用该方法计算任意函数的导数)；

1.3、公式法（符号法求导）

由公式可知$f^{\prime }(x)=4\times x$,那么$f^{\prime }(3)=4\times 3=12$。该方法只适用于具有固定的数学表达形式的函数;

1.4、实验

1.4.1、定义法（数值法求导）

matlab程序

>> syms x delta;
>> f(x)=2*x*x+3;
>> j(x,delta)=(f(x+delta)-f(x))/delta;
>> double(j(3,0.0001))

python程序

def f(x):
    return 2*x*x + 3

def j(x, delta):
    return (f(x + delta) - f(x)) / delta

result = j(3, 0.0001)
print(float(result))

1.4.2、公式法（符号法求导）

matlab程序

>> syms x
>> j(x)=diff(2*x*x+3,x);
>> j(3)

python程序

from sympy import symbols, diff

x = symbols('x')
j = diff(2*x*x + 3, x)
result = j.subs(x, 3)
print(result)

2、复合函数

2.1、案例

若复合函数如下，求导数 $\frac{da}{dg}$的值，以及当$g=2$的时候的导数的值。

2.2、链式法求导

通过上图可知，以$a$到$g$ 的链路存在如下 4 条：

由上表可推得：

若$g=2$，那么：

2.3、实验验证

matlab程序

>> syms a b c d e f g
>> f=g*g*g;
>> e=2*g;
>> c=2+f;
>> d=c*c;
>> b=e*f;
>> a=2*b+3*c+4*d;
>> k(g)=diff(a,g);
>> k(2)

python程序

from sympy import symbols, diff
# 定义变量
a, b, c, d, e, f, g = symbols('a b c d e f g')
# 定义函数
f = g*g*g
e = 2*g
c = 2 + f
d = c*c
b = e*f
a = 2*b + 3*c + 4*d
# 求导
k = diff(a, g)
result = k.subs(g, 2)
print(result)

3、求导思路（自动求导）

如果某个函数是“黑盒函数”，那么建议使用“定义法求导”；如果某个函数是“白盒函数”，那么建议使用“公式法求导”；如果“复合函数”中包含“黑盒函数”与“白盒函数”，那么要“定义法求导”+“公式法求导”+“链式法求导”相结合的方式求导。