TwoLayerNet中numerical_gradient 为什么使用loss函数

假设有一个输入向量 x、一个矩阵 W、一个目标 y 和一个损失函数 loss。你可以用 W 来计
算预测值 y_pred,然后计算损失,或者说预测值 y_pred 和目标 y 之间的距离。
y_pred = dot(W, x)
loss_value = loss(y_pred, y)
如果输入数据 x 和 y 保持不变,那么这可以看作将 W 映射到损失值的函数。
loss_value = f(W)

 	# 计算 权重参数以及偏置的梯度,为后面的梯度下降即x-=lr*x 做准备
    # x输入数据  t正确解标签数据
    def numerical_gradient(self, x, t):
        # loss_w为计算梯度传入的伪函数,因为无论参数w传入什么,它只会调用loss函数
        # 即输入的参数无关
        loss_w = lambda W: self.loss(x, t)

        # 定义一个存储权重参数偏置的字典
        grads = {
   }
        grads['W1'] = numerical_gradient(loss_w, self.params['W1'])
        grads['b1'] = numerical_gradient(loss_w, self.params['b1'])
        grads['W2'] = numerical_gradient(loss_w, self.params['W2'])
        grads['b2'] = numerical_gradient(loss_w, self.params['b2'])

        return grads

请仔细阅读下面这句话
损失函数关于权重参数的梯度

紧扣主题,损失函数关于权重参数的梯度
首先看numerical_gradient函数,注意此处有两个numerical_gradient只能说命名太混乱了,都一样的,其实这里的numerical_gradient是调用的这一个函数

def numerical_gradient(f, x):
    # 判断是否是一维数据
    if x.ndim == 1:
        return _numerical_gradient(f, x)
    else:
        # 多维数据相当于多行数据,每一行数据都是一维的
        grads = np.zeros_like(x)
        # enumerate inx 每一行的索引 x具体的每一行
        for inx, x in enumerate(x):
            # 对每一行去调用单个的梯度
            grads[inx] = _numerical_gradient(f, x)
        return grads

numerical_gradient传入两个参数
grads[‘W1’] = numerical_gradient(loss_w, self.params[‘W1’])
一个是函数loss_w loss_w=lambda w:self.loss(x,t)
一个是权重参数 self.W 假设此处是self.params[‘W1’]

接着看loss_w函数是函数的lambda表达式
loss_w = lambda W: self.loss(x, t)
实际应该表示为

 def loss_w(w):
 	return self.loss(x,t)

其中w为函数f的输入参数,self.loss(x,t)为每次函数执行的方法体,调用loss函数
loss函数x为输入 t为正确解标签数据
不难看出来loss_w函数无论w参数传入什么都只是调用的loss函数

接着在看numerical_gradient的内部执行,假设输入数据是一维数据即np.array([3]) 就直接调用_numerical_gradient

  • 3
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值