Deep Learning
文章平均质量分 77
一路前行1
这个作者很懒,什么都没留下…
展开
-
Tensorflow版本问题的一系列报错解决方案
一下的报错均是由于将tensorflow1版本的代码迁移到tensorflow2上产生的错误,主要是一些api的改动。 File "D:\python\paperRecurrence\CasRel\CasRel-master\model.py", line 23, in E2EModel tokens_in = Input(shape=(None,),dtype=tf.int32) File "E:\environment\python\lib\site-packages\keras\e原创 2020-07-01 15:55:05 · 9559 阅读 · 0 评论 -
pytorch报错RuntimeError: DataLoader worker (pid(s) 7872, 15356, 19144, 16296) exited unexpectedly
Traceback (most recent call last): File "D:/python/Dive into DL/pytorch/CH3/softmax.py", line 42, in <module> print(evaluate_accuracy(test_iter, net)) File "D:/python/Dive into DL/pytor...原创 2020-01-18 17:46:29 · 10812 阅读 · 6 评论 -
keras中call_back的设置
keras训练fit( self, x, y, batch_size=32, nb_epoch=10, verbose=1, callbacks=[], validation_split=0.0, validation_data=None, shuffle=True, class_weight转载 2018-02-21 14:50:32 · 9230 阅读 · 0 评论 -
神经网络调参技巧
对于神经网络的调试,如何找到一组合适的超参数呢,下面分享一些神经网络调参的方法与技巧。在使用神经网络时有许多参数需要调整,比如学习速率、Momentum(动量梯度下降法)的参数beta,Adam优化算法的参数,beta1,beta2,神经网络层数,不同层中隐藏单元数量,学习率衰减等。这些参数的调整也是有优先级顺序的,其中的一些应该优先调整,而另一些可能完全不用调整。 首先应该调整的是学原创 2018-02-19 17:22:18 · 11389 阅读 · 1 评论 -
神经网络训练细节(二)
一、神经网络优化 SGD的问题随机梯度下降可能是在机器学习和深度学习中应用最为广泛的优化算法,但其有时学习会非常慢,特别是当梯度在水平和竖直方向上不均衡时,如下图所示:在竖直方向上,梯度下降很快,而在水平方向上,梯度下降比较慢。这样,当采用随机梯度下降时,它会在竖直方向上下降的快而在水平方向上收敛的慢,这样优化路线就会如上如所示在窄轴上来回震荡。动量因为随机梯度下降算法所存原创 2017-10-03 09:29:08 · 2694 阅读 · 0 评论 -
神经网络训练细节(一)
一、激励函数的选取 常见的激励层函数有sigmoid、tanh、Relu、Leaky Relu、ELU、Maxoutsigmoid函数如下所示:sigmoid函数是早期用的比较多的激励函数,但现在已经不常用了。主要是当输入特别大或者特别小时,sigmoid函数的偏导数趋于0,这样在使用反向传播算法时将会出现问题,并且sigmoid函数不是关于原点对称的,这样在进行反向传原创 2017-10-02 09:05:05 · 4206 阅读 · 0 评论 -
CNN卷积神经网络层级结构
一、卷积神经网络层级结构卷积神经网络层次结构包括:数据输入层/ Input layer 卷积计算层/ CONV layer 激励层 / ReLU layer 池化层 / Pooling layer 全连接层 / FC layer 卷积计算层如上图图所示,左边为数据集,右边为一个神经网络窗口:卷积计算层会在数据集上选定一个窗口,从窗口内选择数据原创 2017-09-25 19:38:38 · 22693 阅读 · 0 评论