DL tools
青盏
这个作者很懒,什么都没留下…
展开
-
tf.stack
【代码】tf.stack。原创 2022-09-30 16:10:44 · 374 阅读 · 0 评论 -
tensorflow tf.io.gfile.GFile readline readlines HDFS
tensorflow是可以直接读写hdfs的,主要有:tf.io.gfile.GFile( name, mode='r') //读写文件flush() //写完最好用以下,不然有些还在buff中close() //关闭数据流readline //读取一行readlines //读取所有行返回list,这个有个坑,在文件很大时超慢优先使用readline,需要判断啥时候结束fsamp = tf.io.gfile.GFile('hdfs://query', mo原创 2020-07-08 00:24:27 · 2959 阅读 · 0 评论 -
tensorflow 建个小图
def Dataset(file_pattern, batch_size, num_epochs=1): logging.info('Creating Dataset from %s', file_pattern) return tf.data.experimental.make_csv_dataset( file_pattern=file_pattern, batch_size=batch_size, label_name=LABEL_NAM原创 2020-05-11 15:22:16 · 249 阅读 · 0 评论 -
pycocotools 插入自建评估方法
evaluate内部插入方法: def evaluate(self): ''' Run per image evaluation on given images and store results (a list of dict) in self.evalImgs :return: None ''' ~~~~...原创 2020-03-29 23:33:48 · 709 阅读 · 0 评论 -
tensorflow中的dataset API
来源1.数据导入tf.dataAPI可以让你以简单可复用的方式构建复杂的Input Pipeline。例如:一个图片模型的Pipeline可能会聚合在一个分布式文件系统中的多个文件,对每个图片进行随机扰动(random perturbations),接着将随机选中的图片合并到一个training batch中。一个文本模型的Pipeline可能涉及到:从原始文本数据中抽取特征,将它们通过...转载 2019-12-29 21:40:17 · 904 阅读 · 0 评论 -
Tensorflow 小知识点 shape get_shape() cond placeholder tf.gradients
name_scope variable_scopeTensorFlow入门(七) 充分理解 name / variable_scope原创 2019-04-13 00:48:19 · 575 阅读 · 0 评论 -
tensorflow 载入多个模型权重
# 载入预训练参数 tvars = tf.trainable_variables() initialized_variable_names = {} scaffold_fn = None if init_checkpoint: #init_checkpoint为模型参数文件 for in...原创 2019-06-13 11:57:54 · 1515 阅读 · 0 评论 -
使用tensorflow 的slim模块fine-tune resnet/densenet/inception网络,解决batchnorm问题
来源使用tf fine-tune resnet模型前言使用tensorflow踩了很多的坑,尤其是使用tf的slim模块的时候,其中batchnorm的问题困挠了我很久,问题表现如下:训练结果很好,测试的时候is−trainingis−training设置成false测试结果很差,设置成true测试结果恢复正常训练结果很好,但是测试的结果要差上不少但是tensorflow官方...转载 2019-06-26 12:01:09 · 1051 阅读 · 0 评论 -
jupyter notebook 循环打印http url图片
from IPython.display import Imagefrom IPython.core.display import HTMLfrom IPython.display import displayfor i in images: display(Image(i))原创 2019-02-12 17:58:20 · 1358 阅读 · 0 评论 -
Detectron 添加垂直翻转
主要文件:detectron/datasets/json_dataset.py/detectron/datasets/roidb.pydetectron/roi_data/minibatch.py数据加载流程如下:修改如下:在detectron/datasets/json_dataset.py文件中添加垂直翻转参数:entry['flipped_v'] = False在/det...原创 2019-02-14 11:11:37 · 248 阅读 · 0 评论 -
Detectron 之 config.py 文件参数 快速跑自己模型 Mmdetection
参数说明原创 2019-01-11 15:09:32 · 1427 阅读 · 0 评论 -
tensorflow tf.nn.top_k 生成mask 提取值
# 通过生成boolean tensor的办法:a = tf.convert_to_tensor([[40, 30, 20, 10], [10, 20, 30, 40]])b = tf.nn.top_k(a, 2)print(sess.run(b))TopKV2(values=array([[40, 30], [40, 30]], dtype=int32), indices=arr...原创 2018-11-20 12:33:47 · 2673 阅读 · 0 评论 -
tensorflow tf.assign 和 = + 区别
首先注意assign在tensorflow的操作是将改变当前节点的值,并将改变值后的节点返回,这是tensorflow的api。而等于号是python里的赋值语句,但与普通python赋值语句不同的是,由于通常tensorflow建图时右边的操作都是新建一个节点,所以这个等于号其实就是将变量的引用到这个新节点上。你只要分清哪些是tensorflow中的操作和哪些是python语言的操作,就能分清哪...原创 2018-11-19 19:59:38 · 3509 阅读 · 0 评论 -
pytorch Dropout错误 noise.bernoulli_(1 - ctx.p).div_(1 - ctx.p) divide by zero
pytorch 在计算long和float运算时会出现错误:>>> import torch>>> a = torch.tensor([1,2,3], dtype=torch.long)>>> a + 0.5 1 2 3[torch.LongTensor of size (3,)]这对应到在long类型数据使用dropo...原创 2018-10-15 15:17:29 · 947 阅读 · 0 评论 -
tensorflow 在优化器后面添加bn的ops依赖
# 构建训练节点 train_op = create_optimizer( total_loss, lr, optimizer_params, 1., variables_to_train, use_fp16=FLAGS.use_fp16) # 将优化器ops添加进依赖 update_...原创 2019-06-20 15:05:24 · 974 阅读 · 0 评论 -
tensorflow 打印 flags
for key in tf.app.flags.FLAGS.flag_values_dict(): print(key, FLAGS[key].value)原创 2019-06-21 09:28:34 · 876 阅读 · 0 评论 -
tensorflow pytorch 《Training Neural Networks with Mixed Precision》
Training Neural Networks with Mixed Precision原创 2019-06-17 11:19:39 · 365 阅读 · 0 评论 -
tf.image.convert_image_dtype 注意
image: 3-D Tensor of image. If dtype is tf.float32 then the range should be[0, 1], otherwise it would converted to tf.float32 assuming that the rangeis [0, MAX], where MAX is largest positive repres...原创 2019-08-16 11:23:06 · 765 阅读 · 0 评论 -
tensorflow 性能优化
环境变量TF_GPU_THREAD_MODElantency收益:当 TF_GPU_THREAD_MODE 设置为 gpu_shared 、gpu_private 时,warm-up 无变化,avg 延时有明显收益。TF_GPU_THREAD_COUNT 增加到 4、8 时,表现没有提高,甚至有所下降。cpu收益:当 TF_GPU_THREAD_MODE 设置为 gpu_shared 、gpu...转载 2019-08-05 10:30:51 · 2096 阅读 · 1 评论 -
tensorflow不知代码情况下获取graph的placeholder和output
Here is my way to find out the correct placeholder op name in the Graphdef part of the .meta file:saver = tf.train.import_meta_graph('some_path/model.ckpt.meta')imported_graph = tf.get_default_graph...转载 2019-07-23 11:11:55 · 1188 阅读 · 0 评论 -
tensorflow serving 编译 运行 nccl错误
由于自己编译,版本很重要。package下载出错时,多运行几遍。bazel安装:bazel 0.16.1bash bazel-0.16.1-installer-linux-x86_64.shexport PATH="$PATH:$HOME/bin"tf serving安装:tf serving 1.12.0.zip在WORKSPACE中 http_archive( 行前添加:...原创 2019-07-31 11:53:23 · 1072 阅读 · 1 评论 -
horovod tensorflow 分布式多gpu
# 引入try: import horovod.tensorflow as hvd hvd.init()except Exception as e: hvd = None print('no horovod')# 打印信息if hvd: tf.logging.info('Total workers: {}, local workers: {}'.f...原创 2019-07-16 21:27:03 · 2753 阅读 · 0 评论 -
tensorflow 打印checkpoint中变量值
import tensorflow as tffrom tensorflow.python.tools.inspect_checkpoint import print_tensors_in_checkpoint_filelatest_ckp = tf.train.latest_checkpoint('./')print_tensors_in_checkpoint_file(latest_ck...转载 2019-06-24 19:05:21 · 1552 阅读 · 0 评论 -
tf.train.Example的用法
来源目录前言tf.train.BytesList等tf.train.Featuretf.train.Featurestf.train.Example前言最近在看到一个代码时,里面用到了tf.train.Example,于是学习了其用法,这里记录一下,也希望能对其他朋友有用。另外,本文涉及的代码基于python 3.6.5 tensorflow 1.8.0tf.train.Ex...转载 2019-06-12 11:54:28 · 4225 阅读 · 4 评论 -
tensorflow estimator 训练完的模型与验证时载入的模型是否一致 hook保存模型
estimator有个问题就是验证时是从文件中载入模型的,这样存在问题是无法保证从保存到载入期间的完全正确性。对于这种问题,我们一般采用少量数据,然后在训练集上进行验证。确认预测数据是否一致。主要是使用cond的控制最后几轮不进行训练,并且把数据打印出来。 def train_func(): # 构建训练节点 ...原创 2019-06-25 15:31:34 · 2766 阅读 · 0 评论 -
装caffe2还是用docker吧 ubuntu安装docker caffe2教程 detectron docker安装教程
编译总是出现各种问题,还是用docker快。Docker常用命令1、Docker安装sudo apt-get remove docker docker-engine docker.iosudo apt-get -y install \ apt-transport-https \ ca-certificates \ curl curl -fsSL https://do...原创 2018-10-05 19:14:10 · 1130 阅读 · 0 评论 -
tensorflow 实现自定义梯度反向传播
以sign函数为例: sign函数可以对数值进行二值化,但在梯度反向传播是不好处理,一般采用一个近似函数的梯度作为代替,如上图的Htanh。在[-1,1]直接梯度为1,其他为0。#使用修饰器,建立梯度反向传播函数。其中op.input包含输入值、输出值,grad包含上层传来的梯度@tf.RegisterGradient("QuantizeGrad")def sign_grad...原创 2018-10-04 15:33:23 · 5496 阅读 · 3 评论 -
tensorflow 利用保存的meta图文件生成log供tensorboard可视化 保存恢复模型
tensorboard可视化图:import tensorflow as tfg = tf.Graph() with g.as_default() as g: tf.train.import_meta_graph('criteo_80.meta') with tf.Session(graph=g) as sess: file_writer = tf.summ...原创 2018-10-11 15:39:51 · 4893 阅读 · 0 评论 -
Recurrent-Attention-CNN.zip 源码下载(非训练代码)
RACNN原创 2018-04-24 16:16:07 · 1894 阅读 · 4 评论 -
pytorch requires_grad 与 detach 区别 梯度传递细节 cpu gpu Variable numpy转换
# detach将计算图中节点转为叶子节点,也就是将节点.grad_fn设置为none,这样detach的前一个节点就不会再与当前变量连接>>> import torch>>&amp原创 2018-04-21 01:06:02 · 22030 阅读 · 4 评论 -
pytorch 其他深度框架使用tensorflow的tensorboard 可视化
代码来源 首先你需要安装tensorflowtorch定义一个logger.py文件:import tensorflow as tfimport numpy as npimport scipy.misc try: from StringIO import StringIO # Python 2.7except ImportError: from io import Byt转载 2018-04-06 17:21:22 · 1358 阅读 · 0 评论 -
pytorch 查全率 recall 查准率 precision F1调和平均 准确率 accuracy
def eval(): net.eval() test_loss = 0 correct = 0 total = 0 classnum = 9 target_num = torch.zeros((1,classnum)) predict_num = torch.zeros((1,classnum)) acc_num = torch.zer原创 2018-04-22 15:04:49 · 10221 阅读 · 4 评论 -
Pytorch scatter_ 理解轴的含义
scatter_(input, dim, index, src)将src中数据根据index中的索引按照dim的方向填进input中。>>> x = torch.rand(2, 5)>>> x 0.4319 0.6500 0.4080 0.8760 0.2355 0.2609 0.4711 0.8486 0.8573 0.1029[torch.FloatTensor of si原创 2018-04-05 16:12:07 · 48048 阅读 · 8 评论 -
pytorch loss function 详解 带公式
链接转载 2018-04-04 22:32:55 · 3911 阅读 · 0 评论 -
Keras 利用sklearn的ROC-AUC建立评价函数
# 利用sklearn自建评价函数from sklearn.model_selection import train_test_splitfrom sklearn.metrics import roc_auc_scorefrom keras.callbacks import Callbackclass RocAucEvaluation(Callback): def __init__(s原创 2018-03-04 17:03:08 · 8437 阅读 · 2 评论 -
简单易懂Pytorch实战实例VGG深度网络
模型VGG,数据集cifar。对照这份代码走一遍,大概就知道整个pytorch的运行机制。 来源 定义模型:'''VGG11/13/16/19 in Pytorch.'''import torchimport torch.nn as nnfrom torch.autograd import Variablecfg = { 'VGG11': [64, 'M', 128...原创 2018-04-04 15:44:00 · 29754 阅读 · 21 评论 -
Keras 数据增强 ImageDataGenerator 多输入 多输出
import os os.environ["CUDA_DEVICE_ORDER"]="PCI_BUS_ID" os.environ["CUDA_VISIBLE_DEVICES"]=""import sysimport gcimport timeimport cv2import randomimport numpy as npimport pandas as pdimport原创 2018-03-28 15:13:39 · 6667 阅读 · 0 评论 -
深度学习常用的数据集,包括各种数据跟图像数据。 免费数据集下载(持续更新中...)
深度学习常用的数据集,包括各种数据跟图像数据。 免费数据集下载(持续更新中…)转载 2018-04-07 20:51:54 · 3332 阅读 · 1 评论 -
NLP Lemmatisation(词性还原) 和 Stemming(词干提取) NLTK pos_tag word_tokenize
词形还原(lemmatization),是把一个词汇还原为一般形式(能表达完整语义),方法较为复杂;而词干提取(stemming)是抽取词的词干或词根形式(不一定能够表达完整语义),方法较为简单。 Stemming(词干提取): 基于语言的规则。如英语中名词变复数形式规则。由于基于规则,可能出现规则外的情况。# Porter Stemmer基于Porter词干提取算法from nlt...原创 2018-03-03 14:57:57 · 24954 阅读 · 0 评论 -
Caffe官方教程中译本+caffe网络模型各层详解(中文版)pdf
caffe 百度网盘链接 caffe2 caffe2 教程入门(python版)转载 2018-04-26 22:25:03 · 8230 阅读 · 6 评论