【Tensorflow slim】slim.data包

最新推荐文章于 2024-03-03 14:29:22 发布

zj360202

最新推荐文章于 2024-03-03 14:29:22 发布

阅读量3.2k

点赞数

分类专栏： tensorflow 图像处理和deeplearning 文章标签： Tensorflow slim dataset dataprovider 深度学习

本文链接：https://blog.csdn.net/zj360202/article/details/78591068

版权

tensorflow 同时被 2 个专栏收录

38 篇文章 4 订阅

订阅专栏

图像处理和deeplearning

37 篇文章 0 订阅

订阅专栏

TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor(张量)意味着N维数组，Flow(流)意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。

TensorFlow可被用于语音识别或图像识别等多项机器深度学习领域，对2011年开发的深度学习基础架构DistBelief进行了各方面的改进，它可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行。TensorFlow将完全开源，任何人都可以用。

原生接口文章

原生接口实例

slim接口文章

slim 实例

kera 接口文章

tensorflow使用过程中的辅助接口或通过tensorflow实现的批量操作接口

=========================================================================

slim.data包下面有很多对数据的操作方法；在slim.__init__种有如下几种：

from tensorflow.contrib.slim.python.slim.data import data_decoder
from tensorflow.contrib.slim.python.slim.data import data_provider
from tensorflow.contrib.slim.python.slim.data import dataset
from tensorflow.contrib.slim.python.slim.data import dataset_data_provider
from tensorflow.contrib.slim.python.slim.data import parallel_reader
from tensorflow.contrib.slim.python.slim.data import prefetch_queue
from tensorflow.contrib.slim.python.slim.data import tfexample_decoder

Data Decoder

# Load the data
my_encoded_data = ...
data_decoder = slim.DataDecoder()

# 解析输入和标签:
decoded_input, decoded_labels = data_decoder.Decode(data, ['input', 'labels'])

# 只解析输入:
decoded_input = data_decoder.Decode(data, ['input'])

# Check which items a data decoder knows how to decode:
for item in data_decoder.list_items():
  print(item)

Data Provider

provider = slim.DataProvider(...)
image, sentence, clazz = provider.get(['image', 'sentence', 'class'])

DataSet

dataset = slim.dataset.Dataset(
            data_sources='./pascal_train_*.tfrecord',
            reader=tf.TFRecordReader,
            num_samples = 3, # 手动生成了三个样本集
            decoder=decoder,
            items_to_descriptions = {},
            num_classes=21)

Data Data Provider

shuffle=Flase，主要的话，每一次取的数据是一样的

pascal_voc_data_provider = slim.DatasetDataProvider(
      slim.datasets.pascal_voc.get_split('train'),
      shuffle=False)
  images, labels = pascal_voc_data_provider.get(['images', 'labels'])

shuffle=True，每一次取的数据会进行洗牌，取的结果和上传会不一样的

pascal_voc_data_provider = slim.DatasetDataProvider(
      slim.datasets.pascal_voc.Dataset(),
      num_readers=10,
      shuffle=True)
  images, labels = pascal_voc_data_provider.get(['images', 'labels'])

分开取元素

[images] = pascal_voc_data_provider.get(['images'])
[labels] = pascal_voc_data_provider.get(['labels'])

Parallel Reader

通过队列和可选洗牌实现并行数据读取器

common_queue = tf.RandomShuffleQueue(
          capacity=256,
          min_after_dequeue=128,
          dtypes=[tf.string, tf.string])
p_reader = slim.ParallelReader(tf.TFRecordReader, common_queue)
common_queue = tf.FIFOQueue(
          capacity=256,
          dtypes=[tf.string, tf.string])
p_reader = slim.ParallelReader(readers, common_queue, num_readers=2)

Prefetch Queue

预取队列

images, labels = tf.train.batch([image, label], batch_size=32, num_threads=4)
batch_queue = slim.prefetch_queue([images, labels])
images, labels = batch_queue.dequeue()
logits = Net(images)
loss = Loss(logits, labels)

zj360202

关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
1
评论
【Tensorflow slim】slim.data包

slim.data包下面有很多对数据的操作方法；在slim.__init__种有如下几种：from tensorflow.contrib.slim.python.slim.data import data_decoderfrom tensorflow.contrib.slim.python.slim.data import data_providerfrom tensorflow.co
复制链接

扫一扫