tensorflow-keras: LSTM层警告 Layer lstm will not use cuDNN kernel since it doesn‘t meet the cuDNN kern

训练LSTM网络的时候遇到这个警告,大致就是无法在cuDNN的加速下使用,看的出训练的速度很慢。

下面是我的网络结构,很简单,就用了一层LSTM,定义了激活函数是relu。

找了一下官网文档对 LSTM 的API如何加速的描述(https://keras.io/api/layers/recurrent_layers/lstm,如下:

重点就在这几个定义好的参数,如果自己构建的网络定义的参数,就无法使用cuDNN的加速了。

所以问题的源头就在我的激活函数这一行, activation='relu'。

当我把它改成, activation='tanh' ,或者删掉也会默认用tanh。则不会警告。

至于LSTM要不要用 relu 激活(因为我之前看书的时候说很多时候relu的效果是比tanh好的),也有些大佬给了讨论,可以参考  https://www.zhihu.com/question/61265076

顺便提一下,当用cuDNN加速后训练速度起码是不用的十倍以上,效果还是很好的。

  • 6
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
Keras中,可以使用`keras.layers.LSTM`来堆叠多个LSTM。以下是一个简单的例子: ```python from keras.models import Sequential from keras.layers import LSTM model = Sequential() model.add(LSTM(64, return_sequences=True, input_shape=(10, 32))) # 第一LSTM,return_sequences=True表示返回每个时间步的输出 model.add(LSTM(32)) # 第二LSTM,不需要返回每个时间步的输出 ``` 在这个例子中,我们使用了两个LSTM。第一个LSTM的输出被传递给第二个LSTM,第二个LSTM的输出将作为最终的输出。第一个LSTM的参数`return_sequences=True`表示返回每个时间步的输出,而不是仅仅返回最后一个时间步的输出。 需要注意的是,如果需要在多个LSTM之间使用Dropout或BatchNormalization等正则化方法,可以使用`keras.layers.Dropout`和`keras.layers.BatchNormalization`对LSTM进行包装。例如: ```python from keras.models import Sequential from keras.layers import LSTM, Dropout, BatchNormalization model = Sequential() model.add(LSTM(64, return_sequences=True, input_shape=(10, 32))) model.add(Dropout(0.5)) # 对第一个LSTM使用Dropout正则化 model.add(BatchNormalization()) # 对第一个LSTM使用BatchNormalization正则化 model.add(LSTM(32)) model.add(Dropout(0.5)) # 对第二个LSTM使用Dropout正则化 model.add(BatchNormalization()) # 对第二个LSTM使用BatchNormalization正则化 ``` 这样可以提高模型的泛化能力和防止过拟合。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值