关注
分享
面对五花八门的数据集，各种各样的数据存储形式，刚新手入门的我们在处理这些情况的时候是否会手足无措？明明知道如何搭建网络，还是完成不了实验，究其原因，是数据工程经验的不足。 我打算做这个系列，主要是记录针对不同种类，格式的数据的处理方案。
xf__mao
关注机器学习和计算机视觉，欢迎交流！
展开
-
【Tensorflow】怎样为你的网络预加工和打包训练数据？（一）
面对五花八门的数据集，各种各样的数据存储形式，刚新手入门的我们在处理这些情况的时候是否会手足无措？反正一路走来，我的经验告诉我，deep learning的实验阶段，数据准备和处理过程往往会让你碰一鼻子灰。明明知道如何搭建网络，还是完成不了实验，究其原因，是数据工程经验的不足。我打算做这个系列，主要是记录针对不同种类，格式的数据的处理方案。数据预处理的首篇，我为大家展示一种常见情形的处理方法原创 2017-06-16 13:35:00 · 3550 阅读 · 3 评论 -
【Tensorflow】怎样为你的网络预加工和打包训练数据？（二）：小数据集的处理方案
实验环境：python2.7第二篇我们来讲一讲小数据集的处理方法，小数据集一般多以文本存储为主，csv是一种流行的数据格式，另外也有txt等。当然也会有.mat或者.npy这种经过处理的格式。一.处理csv格式数据集实验数据集是鸢尾花卉数据集iris，格式是.csv，需要的同学可以到这里下载为了工程需要我直接介绍读取该类型数据的最快方法，通过一些库，我们是可以用很少的步骤就读取原创 2017-06-25 14:53:05 · 3123 阅读 · 0 评论 -
【Tensorflow】超大规模数据集解决方案：通过线程来预取（上）
环境Tensorflow1.2（这是最新的一个版本），python2.7这是我重点要讲的解决方案，我怕篇幅过长，分成了两篇，上篇介绍一下预备的东西，下篇来进行实验一.Tensorflow中的队列机制队列和线程是Temsorflow中实现异步的重要工具。为什么要异步？用一个形象的例子来解释这个问题。可以把数据导入的过程看作io操作，在数据规模极大的情况下，io请求需要大量时间执行。同原创 2017-07-02 16:39:08 · 10548 阅读 · 0 评论 -
【Tensorflow】超大规模数据集解决方案：通过线程来预取（下）
环境Tensorflow1.2，python2.7现在让我们用Tensorflow实现一个具体的Input pipeline，我们使用CoCo2014作为处理对象，网上应该可以下载到CoCo训练集，train2014这个文件。下载链接：http://msvocds.blob.core.windows.net/coco2014/train2014.zip一共13.5G，解压完原创 2017-07-18 21:21:55 · 5457 阅读 · 0 评论 -
【Tensorflow】用tersorflow内置函数做图片预处理
本篇作为【Tensorflow】超大规模数据集解决方案的补充，介绍一下tersorflow内置函数对图片的预处理。前面的方法都是用skimage等辅助库来处理图像，因为我们都是在外部处理完所有的图像，然后再输入网络，以Placeholder的形式。但是当我们使用Tensorflow内部的Input pipeline的时候，图片一经读取，就已经转换成了Tensorflow内置的格式，这种格式下，原创 2017-07-19 19:39:23 · 7945 阅读 · 0 评论