Keras 报错:An operation has `None` for gradient.

结论:自定义层的时候不要在build里定义不会在call里调用的 trainable 变量

报错原文:

ValueError: An operation has `None` for gradient. Please make sure that all of your ops have a gradient defined (i.e. are differentiable). Common ops without gradient: K.argmax, K.round, K.eval.

引发操作:

model.fit(x, y, batch_size=32, epochs=2,validation_data=(x, y))

反正就是compile正常,fit报错

自定义层:

def build(self, input_shape):
    self.emb_A = self.add_weight(name='Embedding_1',
                            shape=(self.sentence_size, self.vocab_size),
                            initializer='uniform',
                            trainable=True)
    self.emb_B = self.add_weight(name='Embedding_2',
                            shape=(self.sentence_size, self.vocab_size),
                            initializer='uniform',
                            trainable=True)
    super(MemN2N, self).build(input_shape)
    
def call(self, inputs):
    x = K.dot(inputs, self.emb_A)
    return K.sum(x, axis=2)

解决方法:

删除 self.emb_B就不会报这个错了

查了之后发现原因很简单,参考stackoverflow

就是build 里定义了call里没有使用的 trainable 变量,结果反向传播的时候就没办法计算它的梯度了。

我还找了半天看是不是因为K.sum()不可导orz

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值