tensorflow
supe_king
装作没有梦想...qq:383154935
展开
-
tensorflow知识点小总结2
1 梯度更新正常的梯度更新:optm = tf.train.AdamOptimizer(learning_rate).minimize(loss)实际 上 tf.train.AdamOptimizer 进行了两部运算,第一步计算梯度,第二步更新梯度。另一种更新方式就是先计算梯度,再更新我们需要更新的变量。如下,第一种方式,一步计算:t_vars = tf.trainable_var原创 2017-08-01 08:39:14 · 1412 阅读 · 0 评论 -
Tensorflow的梯度异步更新
Tensorflow的梯度异步更新背景:先说一下应用吧,一般我们进行网络训练时,都有一个batchsize设置,也就是一个batch一个batch的更新梯度,能有这个batch的前提是这个batch中所有的图片的大小一致,这样才能组成一个placeholder。那么若一个网络对图片的输入没有要求,任意尺寸的都可以,但是我们又想一个batch一个batch的更新梯度怎么办呢?操作如下:先计算梯度:#原创 2017-09-18 11:36:04 · 4267 阅读 · 5 评论 -
tensorflow中正则化防止过拟合以及Batch Normalization
一、正则化正则化原理这里就不介绍了,网上资源有很多,详情可以点击这里(https://zhuanlan.zhihu.com/p/29297934) 但是网上大多数关于正则化的教程太乱,而且有很多代码 不能试用。这里说一个可以用的: 首先在权值初始话的时候,对权值进行正则化计算,利用函数: tf.contrib.layers.l1_regularizer(lambda1)原创 2017-10-25 20:57:26 · 4213 阅读 · 0 评论 -
初试tensorflow
tensorflow的使用原创 2017-05-18 19:47:08 · 1495 阅读 · 0 评论 -
windows下tensorflow-GPU版本安装
随着tensorflow的更新的,windows下的GPU版本也可以愉快的安装了,以前只能安装cpu。其实网上这方面的教程很多,但是搜索出来的基本都是16年的博客,安装步骤繁琐。在现在看来根本不需要那么麻烦,下面我就介绍一下大致流程,以前自己用的比较nice的网址。第一步:下载anaconda这个不用说了吧,很简单直接百度anaconda,下载官网发布的最新版本的anaconda,根据教程原创 2018-02-05 10:36:06 · 7353 阅读 · 1 评论 -
Tensorflow 中的模型保存及权重迁移
先从简单的说起, tf.train.import_meta_graph()保存方式:默认保存方式,固化模型的保存方式pb文件获取操作名称 graph = tf.get_default_graph() graph.get_operations()需要的操作加入进去 tf.add_to_collection(name, value) 得到需要的操作名 tf.get_collec原创 2018-09-20 16:35:38 · 6312 阅读 · 1 评论 -
《深度学习训练日志》
2019-3-20 20:17问题:在训练YOLO-V2的目标检测模型时,使用resnet18的主网络架构,并利用其预训练权重,在训练的一段时间后,网络出现NAN值?解决:经各方面验证发现,网络经过几次迭代之后,发生梯度爆炸,导致梯度更新之后,出现NAN值。网上查询了几种梯度爆炸的解决方式,例如什么减小学习率,残差网络,relu激活,bn层等。显然,这些方式,本模型中已经具备。还有一种方式...原创 2019-05-21 14:02:37 · 1312 阅读 · 0 评论