![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络学习记录
Laox1ao
这个作者很懒,什么都没留下…
展开
-
GRU学习记录-2016/12/01
GRU(Gated Recurrent Unit)是LSTMs网络的一种变式,主要的目的也是解决RNNs网络长时记忆的问题,通过hidden state来记忆上下文关系。GRU基本repeating module如下图所示: 图中ht为t时刻的hidden state,也为t时刻单元的输出;xt为t时刻的输出;rt为reset gate(重置,决定生成新的candidate hidden stat原创 2016-12-01 16:50:08 · 438 阅读 · 0 评论 -
【问题】Keras AttributeError: 'Tensor' object has no attribute '_keras_history'
问题在Keras函数式模型中加入后端函数操作时出现的错误。from keras import backend as K...input1 = Input(shape(2,))input2 = Input(shape(3,))output = K.concatenate([input1,input2], axis=-1)model = Model(inputs=[input1,input2]原创 2017-10-13 09:55:00 · 16387 阅读 · 3 评论 -
【问题】【KERAS】【Tensorflow】关于tensorflow中的梯度为None的问题
错误ValueError: None values not supported.错误原因往前追溯Traceback/Users/laox1ao/anaconda/lib/python2.7/site-packages/keras/engine/training.pyc in _make_train_function(self) 988原创 2018-01-13 21:24:33 · 10434 阅读 · 4 评论 -
【问题】检验神经网络中是否出现nan的方法
问题在用Keras搭建模型训练过程中,遇到了训练了几个batch之后网络中间层的输出出现了nan,基本确定是某除零操作导致,想打印前馈出现nan的样本分析分析第一反应是使用.any()函数判断有无nan存在,发现无效,原因是.any()和.all()函数只能判断可以转化为True或False的值,而nan既不等于True也不等于False google之后发现可以利用nan不等于原创 2018-01-22 21:27:57 · 1759 阅读 · 0 评论 -
【笔记】【Pytorch】关于torch.matmul和torch.bmm的输出tensor数值不一致问题
发现对于torch.matmul和torch.bmm,都能实现对于batch的矩阵乘法:a = torch.rand((2,3,10))b = torch.rand((2,2,10))### matmal()res1 = torch.matmul(a,b.transpose(1,2))print res1 """...[torch.FloatTensor of size原创 2018-01-25 11:07:23 · 29433 阅读 · 7 评论 -
【问题】KERAS中switch方法报错解决
错误ValueError: Shape must be rank 0 but is rank 3 for 'lambda_9/cond/Switch' (op: 'Switch') with input shapes: [?,20,30], [?,20,30].错误原因keras的backend(tensorflow)的switch方法会根据输入的维度是否是多维来选择调用tf.co原创 2018-01-08 22:04:51 · 3077 阅读 · 2 评论 -
tf.shape()和tensor.get_shape()
问题数据输入的格式为input = tf.placeholder([None,xxx,xxx],dtype=tf.float32)需要得到batch的维度来进行中间Variable的初始化val = tf.zeros([batch_size,xxx,xxx],dtype=tf.float32)方法可行:val = tf.zeros([tf.shape(inp...原创 2018-04-11 14:52:20 · 3832 阅读 · 3 评论