tensorflow
qq_30362711
话痨
展开
-
keras 使用技巧记录
1对dense层加自己写的constraintfrom keras.constraints import Constraintimport keras.backend as Kclass Between(Constraint):def init(self, min_value, max_value):self.min_value = min_valueself.max_value = max_valuedef __call__(self, w): return K.cl原创 2020-10-10 14:33:27 · 97 阅读 · 0 评论 -
tensorflow和pytorch比较
pyorch的坑RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [2, 3, 13, 13, 85]], which is output 0 of AsStridedBackward, is at version 6; expected version 3 instead. Hint: the ba原创 2020-06-23 10:47:27 · 1291 阅读 · 1 评论 -
batch normalization阅读及tensorflow实现
1,核心观点一个预测函数的输入应是同一分布,而在训练过程中由于前面网络的不断变化导致后面的网络的输入距离波动,因此后面网络的输入分布也变化。利用类似图像白化的方法处理任意一层网络的输入。2,数学计算流程https://blog.csdn.net/weixin_42398658/article/details/84560411写的比较清晰,其他的数学符合表达有歧义。计算的解...原创 2019-09-19 16:11:10 · 128 阅读 · 0 评论 -
tensorflow 多gpu实现学习记录
理论与概念不看网上教程了,直接看官网的介绍。也不用keras,keras一点都不灵活,还各种bug。直接看源码,地址为https://github.com/tensorflow/models/blob/master/tutorials/image/cifar10/cifar10_input.py我的理解是这样,首先共享变量的定义是什么?是如何共享的?答:变量有一个主要存储的地方,如...原创 2019-10-16 17:34:25 · 102 阅读 · 0 评论 -
keras中trainable问题测试
多gpu情况测试测试1,冻结原模型的某一层,且此操作在生成多gpu模型之后,是否能够冻结权重?答案:不能测试2,冻结原模型的某一层,且此操作在生成多gpu模型之前,是否能够冻结权重?答案:能。结论:冻结某一层只需要冻结原模型,不需要冻结其生成的多gpu模型的对应层。但是冻结后,应重新生成一次多gpu模型。经过多次测试,都证明此结论。多模型情况测试参考生成网络...原创 2019-09-06 10:50:33 · 1347 阅读 · 0 评论 -
tensorflow_gpu相关接口及多gpu训练及相关注意
多gpu训练使用kerasmulti_gpu_model(model, gpus, cpu_merge=True, cpu_relocation=False)这个函数有个极其重要的参数,cpu_merge和cpu_relocation,这个参数会影响到你训练成功或失败,因为比如你用了否定的,然后你训练却用了cpu存模型,或者相反,则会导致你更新参数失败。正确的案例应该模仿官方,我的...原创 2019-04-04 16:11:22 · 297 阅读 · 0 评论 -
tensorflow-gpu1.13-python环境搭建记录
安装python1,https://www.python.org/ftp/python/3.6.4/python-3.6.4-amd64.exe安装到一个如python\python1目录中2,添加环境变量3以管理员运行cmd,升级pip:python-mpipinstall--upgradepip(这里注意有时会更新失败,好像因为pip在运行,因此需要重启一下再更新最稳...原创 2019-01-24 14:55:38 · 710 阅读 · 0 评论 -
tensorboard学习记录
——————————————————一、如何存储summary和打开tensorboard————————————————————————————创建一个常量,注意summary的value需要是float32或64类型aaa=tf.constant(11.0)然后用aaa的值传给一个summaryaaa1=tf.scalar_summary('fdfdfaaa1',aaa原创 2017-11-23 10:49:22 · 244 阅读 · 0 评论 -
虚拟机安装tensorflow记录
安装的是最新的16.043ubuntu,用VMware。tip:(假如你是长城宽带或者爱普你可以用手机共享热点用流量下载;而且你一定要下最新的系统,我一开始下不是最新的系统导致各种缺少文件还有地址过期)安装系统完毕后,没有pip,安装pip,但是记得要先sudo su,开启root权限。 wget https://bootstrap.pypa.io/ge原创 2017-11-22 11:40:45 · 1236 阅读 · 0 评论