概念
梯度的数值逼近是一种用于验证梯度计算正确性的方法,它通过近似计算梯度来与解析计算的梯度进行比较。虽然数值逼近在实际训练中不常用,但它可以用来检查手动或自动求导的实现是否正确。
代码实现
import numpy as np
# 定义函数 f(x) = x^2
def function(x):
return x**2
# 计算梯度的数值逼近
def numerical_gradient(f, x):
h = 1e-5
grad = np.zeros_like(x)
for i in range(x.shape[0]):
tmp_val = x[i]
# f(x + h)
x[i] = tmp_val + h
fxh1 = f(x)
# f(x - h)
x[i] = tmp_val - h
fxh2 = f(x)
grad[i] = (fxh1 - fxh2) / (2 * h)
x[i] = tmp_val
return grad
# 计算 x = 3 处的梯度
x = np.array([3.0, 4.0])
gradient = numerical_gradient(function, x)
print("Numerical Gradient:", gradient)