tensorflow
文章平均质量分 62
shu_qdHao
这个作者很懒,什么都没留下…
展开
-
用自己的数据集训练faster-rcnn时出现的一些问题及总结(五)
关于faster-rcnn的原理训练流程及其数据集的制备,已经都已完成。那么问题来了,“自己制备的数据集,比如说自己为了增强数据集,进行图片翻转操作,然后记录坐标这样的数据集,在训练的过程中出现的问题”一、在调用append_flipped_images函数时出现: assert (boxes[:, 2] >= boxes[:, 0]).all()网上查资料说:出现这个问题主要是自己的数据集...原创 2018-04-14 13:06:45 · 2119 阅读 · 0 评论 -
NLP文本解析数据预处理的方法
假设我们现在有一个文本的多标签的分类任务。其数据集的格式为w9410 w305 w1893 w307 w3259 w4480 w1718 w5700 w18973 w346 w11 w855 w1038 w12475 w146978 w11 w1076 w25 w7512 w45368 w1718 w4668 w6 w11061 w111 c866 c28 c423 c1869 c1331 c43...原创 2018-06-12 23:01:33 · 4442 阅读 · 0 评论 -
tf.nn.softmax_cross_entropy_with_logits的用法
在计算loss的时候,最常见的一句话就是tf.nn.softmax_cross_entropy_with_logits,那么它到底是怎么做的呢?首先明确一点,loss是代价值,也就是我们要最小化的值tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None)除去name参数用以指定该操作的name,与方法有关的一共两个参数:第...转载 2018-05-05 00:02:42 · 275 阅读 · 0 评论 -
基于TF的迁移学习VGG16网络,并进行图片的测试。
vgg16.py文件1.一开始在通过vgg =Vgg16()的调用,会自动初始化,在初始化过程中,会找到目录下的vgg16.npy文件,也就是在imagenet上训练好的权重文件,然后通过np.load()完成权重文件的加载。代码如下:class Vgg16: def __init__(self, vgg16_npy_path=None): if vgg16_npy_pat...原创 2018-05-04 16:02:44 · 2565 阅读 · 1 评论 -
提升模型性能的几个方法以及训练集测试集验证集的划分与作用
一、提升模型性能的方法一般在四个方向:1.Data Augmentation2.Weight Initialization3.Transfer learning + Fine-tune4.Ensemble/Model Fusion数据增强、迁移学习与微调这些之前已经学过了。关于权重的正则化约束。因为单纯的不断增强数据量,还是不够的。因为提升过的数据是高度相关的。对抗过拟合应该主要关注模型的“熵容量...原创 2018-05-03 21:05:02 · 9310 阅读 · 1 评论 -
tensorflow训练好的模型怎么调用?
1.首先要将训练好的模型保存下来,保存代码如下:import tensorflow as tf sess = tf.Session()saver = tf.train.Saver()model_path = '/home/../model.ckpt'saver.save(sess,model_path)2.对保存的模型进行调用,代码如下:import tensorflow as tf s...原创 2018-05-03 20:08:44 · 15967 阅读 · 5 评论 -
迁移学习与fine-tune
刚开始接触深度学习的时候,迁移学习与fine-tune确实有点搞不清楚。其实迁移学习是一个大的方向,fine-tune是实现迁移学习常用的一个方法。那么:1.什么是迁移学习呢?迁移学习顾名思义就是把已经训练好的模型的参数迁移到新的模型来帮助新模型的训练。考虑到大部分的数据或任务是存在相关性的,所以通过迁移学习我们可以将已经学习到的模型参数,通过某种方式来分享给新的模型,从而加快优化模型的学习效率不...原创 2018-05-03 16:52:02 · 5050 阅读 · 1 评论 -
改进现有的通用图像分类算法以适应细粒度分类
关于细粒度图像的分类,就是将一个大类中的图像进行细小的分类。这些小类中具有相似的特征。比如鸟的分类、花朵的分类、蝴蝶的分类等等。所以相比较普通的图像分类,细粒度分类的难度更大。就目前的技术而言,有基于强监督学习的细粒度分类(需要标注信息,以及部位的标注信息,part annotations),虽然准确率高一点,但是对于图像标签的获取具有一定的难度。弱监督图像的分类,就是不要这些标注信息,只需要它所...原创 2018-05-03 15:22:45 · 1154 阅读 · 1 评论 -
深度学习图片分类增强数据集的方法汇总
1.随机切割,图片翻转,旋转,等等很多手段都可以增加训练集,提高泛化能力.2. Resampling 或者增加噪声等等,人工合成更多的样本.3.对小样本数据进行仿射变换、切割、旋转、加噪等各种处理,可以生成更多样本.4.用GAN生成数据提供给数据集.5.找个Imagenet数据集上训练好的的模型,冻结最后一层或者最后几层,然后迁移学习+fine tuning,图片数量少,做一些翻转,变化,剪切,白...原创 2018-04-24 21:48:51 · 11024 阅读 · 0 评论 -
faster-rcnn增强自己的数据集annotations(四)
关于faster-rcnn数据集的制作,尤其是xml文件的制作以及为了增强自己的数据集这方面详细讲解一下。因为最近参加了比赛,目标检测,我用的faster-rcnn网络,奈何数据量太小。于是为了增强自己的数据集,并载入自己的训练网络中。我写了几个脚本文件进行数据的增强及加载。数据集的增强,关于检测的数据集的增强,并不是很好处理,因为我们除了对图像处理外,还有得到图像中我们要定位的物体(比如pers...原创 2018-04-13 23:05:13 · 3381 阅读 · 4 评论 -
faster-rcnn的训练流程及其如何训练自己的数据集(三)
到这篇为止,关于faster rcnn已经解读一大半了。OK!!!上一篇讲到anchor_target _layer()知道了该层函数的目的就是为每个位置的9个anchors生成表示正负样本的标签和回归的目标值,以及权重,提供给RPN进行训练。*reshape_layeranchor_target_layer()该层执行完毕后,我们继续回到网络模型中观看下一层,是一个卷积层,该层的作用是计算rpn...原创 2018-04-13 22:32:56 · 5467 阅读 · 5 评论 -
faster-rcnn的训练流程及其如何训练自己的数据集(二)
接着上篇继续,上篇写到开始调用Solver的train_model函数了。OK ! ! ! 3.train_net()中train_model()的调用前面已经知道了roidb提供了标注信息,imdb提供了一个数据基类,里面有一些工具接口。那么实际网络跑起来的时候,也需要准备图像数据的输入。因此接下来关注Solver的train_model成员函数中每次图像数据是如何生成的。data_layer ...原创 2018-04-13 20:45:38 · 4235 阅读 · 0 评论 -
faster-rcnn的训练流程及其如何训练自己的数据集(一)
前言:关于faster rcnn的训练网络,哪怕你一直很努力,死磕代码。就会像这图一样智商不够用啊,这边看了那边忘。所以希望大家能体系的学习faster rcnn。因为走了很多弯路,总结一下自己的理解。本篇关于Faster rcnn 的训练是基于tensorflow版本的,因为最近一直在搞这个,也为了巩固一下知识点,在此写个博客,也希望能帮助到大家。废话不多说,我们直接开始。第一点:首先要明白fa...原创 2018-04-13 14:01:54 · 23470 阅读 · 2 评论 -
深度学习网络调参技巧
1.好的实验环境是成功的一半(a) 将各个参数的设置部分集中在一起(b)可以输出模型的损失函数值以及训练集验证集上的准确率(c)可以考虑设计一个子程序,可以根据给定的参数,启动训练并监调和周期性保存评估结果。再由一个主程序,分配参数以及并行启动一系列子程序。2.画图 (a) 一般是训练数据遍历一轮后,就输出一下训练集和验证集的准确率,同时画到一张图上,这样训练一段时间...原创 2019-02-20 20:08:57 · 794 阅读 · 0 评论