神经网络
supe_king
装作没有梦想...qq:383154935
展开
-
tensorflow知识点小总结2
1 梯度更新正常的梯度更新:optm = tf.train.AdamOptimizer(learning_rate).minimize(loss)实际 上 tf.train.AdamOptimizer 进行了两部运算,第一步计算梯度,第二步更新梯度。另一种更新方式就是先计算梯度,再更新我们需要更新的变量。如下,第一种方式,一步计算:t_vars = tf.trainable_var原创 2017-08-01 08:39:14 · 1414 阅读 · 0 评论 -
tensorflow中正则化防止过拟合以及Batch Normalization
一、正则化正则化原理这里就不介绍了,网上资源有很多,详情可以点击这里(https://zhuanlan.zhihu.com/p/29297934) 但是网上大多数关于正则化的教程太乱,而且有很多代码 不能试用。这里说一个可以用的: 首先在权值初始话的时候,对权值进行正则化计算,利用函数: tf.contrib.layers.l1_regularizer(lambda1)原创 2017-10-25 20:57:26 · 4218 阅读 · 0 评论 -
初试tensorflow
tensorflow的使用原创 2017-05-18 19:47:08 · 1498 阅读 · 0 评论 -
caffe下fcn数据集的制作
看过我上篇博客的人,想必已经跑通了作者的fcn数据集,现在就就是制作自己的数据集并进行训练。其实不难,首先我们分析一下作者的数据集voc。根据他的数据集,模仿一个即可。首先我们看作者训练时需要的两个数据集voc和dataset(这里我的voc,我自己改了名字叫做voc2016):这两个数据集分别有什么用呢?其中dataset存放的是训练时所用的数据,voc2016存放的则是测试所用的数原创 2017-02-18 10:47:42 · 7523 阅读 · 17 评论 -
ubuntu下caffe的FCN8模型训练
第一次写博客,仅此纪念所趟过的坑。话不多说我们直入主题。玩caffe的人想必都训练过最初始的教程mnist——手写字符识别。很easy,网上教程多如牛毛,这里我就废话不说。但是关于FCN可能就是有点模糊,因为我玩的时候就是,可能写的比较好的当属一个ID叫做“隐匿人海”的博客,我从小白到跑通FCN,也是从他那里偷师学艺过。之所以别人已经写过了,为什么我还要再写一篇,那么要算就算我是个纠结于情怀的人吧...原创 2018-02-08 09:34:53 · 12009 阅读 · 42 评论 -
《深度学习训练日志》
2019-3-20 20:17问题:在训练YOLO-V2的目标检测模型时,使用resnet18的主网络架构,并利用其预训练权重,在训练的一段时间后,网络出现NAN值?解决:经各方面验证发现,网络经过几次迭代之后,发生梯度爆炸,导致梯度更新之后,出现NAN值。网上查询了几种梯度爆炸的解决方式,例如什么减小学习率,残差网络,relu激活,bn层等。显然,这些方式,本模型中已经具备。还有一种方式...原创 2019-05-21 14:02:37 · 1321 阅读 · 0 评论