假设有一个输入向量 x、一个矩阵 W、一个目标 y 和一个损失函数 loss。你可以用 W 来计
算预测值 y_pred,然后计算损失,或者说预测值 y_pred 和目标 y 之间的距离。
y_pred = dot(W, x)
loss_value = loss(y_pred, y)
如果输入数据 x 和 y 保持不变,那么这可以看作将 W 映射到损失值的函数。
loss_value = f(W)
# 计算 权重参数以及偏置的梯度,为后面的梯度下降即x-=lr*x 做准备
# x输入数据 t正确解标签数据
def numerical_gradient(self, x, t):
# loss_w为计算梯度传入的伪函数,因为无论参数w传入什么,它只会调用loss函数
# 即输入的参数无关
loss_w = lambda W: self.loss(x, t)
# 定义一个存储权重参数偏置的字典
grads = {
}
grads['W1'] = numerical_gradient(loss_w, self.params['W1'])
grads['b1'] = numerical_gradient(loss_w, self.params['b1'])
grads['W2'] = numerical_gradient(loss_w, self.params['W2'])
grads['b2'] = numerical_gradient(loss_w, self.params['b2'])
return grads
请仔细阅读下面这句话
损失函数关于权重参数的梯度
紧扣主题,损失函数关于权重参数的梯度
首先看numerical_gradient函数,注意此处有两个numerical_gradient只能说命名太混乱了,都一样的,其实这里的numerical_gradient是调用的这一个函数
def numerical_gradient(f, x):
# 判断是否是一维数据
if x.ndim == 1:
return _numerical_gradient(f, x)
else:
# 多维数据相当于多行数据,每一行数据都是一维的
grads = np.zeros_like(x)
# enumerate inx 每一行的索引 x具体的每一行
for inx, x in enumerate(x):
# 对每一行去调用单个的梯度
grads[inx] = _numerical_gradient(f, x)
return grads
numerical_gradient传入两个参数
grads[‘W1’] = numerical_gradient(loss_w, self.params[‘W1’])
一个是函数loss_w loss_w=lambda w:self.loss(x,t)
一个是权重参数 self.W 假设此处是self.params[‘W1’]
接着看loss_w函数是函数的lambda表达式
loss_w = lambda W: self.loss(x, t)
实际应该表示为
def loss_w(w):
return self.loss(x,t)
其中w为函数f的输入参数,self.loss(x,t)为每次函数执行的方法体,调用loss函数
loss函数x为输入 t为正确解标签数据
不难看出来loss_w函数无论w参数传入什么都只是调用的loss函数
接着在看numerical_gradient的内部执行,假设输入数据是一维数据即np.array([3]) 就直接调用_numerical_gradient