7.1 TensorFlow笔记(基础篇):加载数据之预加载数据与填充数据

原创 2017年08月05日 17:24:02

TensorFlow加载数据

TensorFlow官方共给出三种加载数据的方式:
1. 预加载数据
2. 填充数据
预加载数据的缺点: 将数据直接嵌在数据流图中,当训练数据较大时,很消耗内存.填充的方式也有数据量大,消耗内存高的缺点,并且数据类型的转换等中间环节增加了不少开销(之前的笔记示例中主要使用的这两种方式).最好用第三种方法,在图中定义好文件读取的方法,让Tensorflow 自己从文件中读取数据,并解码成可使用的样本集.

CODE : 预加载数据与填充数据

import tensorflow as tf
import os

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

# 预加载数据
# 缺点: 将数据直接嵌在数据流图中,当训练数据较大时,很消耗内存
x1 = tf.constant([2,3,4])
x2 = tf.constant([4,0,1])
y = tf.add(x1,x2)

with tf.Session() as sess:
    print(sess.run(y))

# 填充数据
# 设计图
a1 = tf.placeholder(tf.int16)
a2 = tf.placeholder(tf.int16)
b = tf.add(x1,x2)
# 用 python 产生数据
li1 = [2,3,4]
li2 = [4,0,1]
# 打开一个会话,将数据填充给后端
with tf.Session() as sess:
    print(sess.run(b,feed_dict={a1: li1,a2: li2}))

# 填充的方式也有数据量大,消耗内存高的缺点,并且数据类型的转换等中间环节增加了不少开销.
# 这时最好用第三种方法,在图中定义好文件读取的方法,让Tensorflow 自己从文件中读取数据,并解码成可使用的样本集

运行结果:

[6 3 5]
[6 3 5]

相关

在TensorFlow中进行模型训练时,在官网给出的三种读取方式,中最好的文件读取方式就是将利用队列进行文件读取,而且步骤有两步:
1. 把样本数据写入TFRecords二进制文件 : http://blog.csdn.net/fontthrone/article/details/76727412
2. TensorFlow笔记(基础篇):加载数据之从队列中读取:http://blog.csdn.net/fontthrone/article/details/76728083
3. python中的argparse模块:http://blog.csdn.net/fontthrone/article/details/76735591

版权声明:欢迎转载,共同学习,但请尊重版权,标明出处:http://blog.csdn.net/fontthrone

深度学习word2vec笔记之基础篇

深度学习word2vec笔记之基础篇
  • mytestmy
  • mytestmy
  • 2014年05月25日 16:00
  • 67616

深度学习word2vec笔记之算法篇

深度学习word2vec笔记之算法篇
  • mytestmy
  • mytestmy
  • 2014年05月25日 20:03
  • 33884

深度学习+语音,基础普及篇笔记(一)

深度学习应用领域,可以分为3大块:图像,语音,文字。最近有时间,研究下语音: (一)定义 语音是一个连续的音频流,它是由大部分的稳定态和部分动态改变的状态混合构成。 一个单词的发声(波形)实...
  • cc1949
  • cc1949
  • 2018年01月25日 17:09
  • 77

自然语言处理之深度学习word2vec笔记之算法篇

深度学习word2vec笔记之算法篇 声明:   本文转自推酷中的一篇博文http://www.tuicool.com/articles/fmuyamf,若有错误望海涵 前言 在看wo...
  • cuilijuan02
  • cuilijuan02
  • 2015年08月26日 15:54
  • 1295

Java 之JNI基础篇(一)

JNI,即Java Native Interface。它其实就是一套java与本地代码交互的接口或者说是一个协议。通俗的比喻,就是中国人讲中国话,日本人讲日本话,于是中国人碰到日本人,各说各话,无法交...
  • yingshukun
  • yingshukun
  • 2018年01月13日 18:51
  • 10016

关于tableview 加载数据,性能优化

对于获取到的系统联系人数量相当多(上千条)时候,
  • dzc33
  • dzc33
  • 2014年10月23日 09:58
  • 1098

tensorflow加载数据的几种方式

http://wiki.jikexueyuan.com/project/tensorflow-zh/how_tos/reading_data.html#QueueRunner http://wiki....
  • LIYUAN123ZHOUHUI
  • LIYUAN123ZHOUHUI
  • 2017年03月27日 16:19
  • 1516

利用JS AJAX向datatables中的表格体填充数据

html端代码     Document                         users             ...
  • xiangzhihaoCSDN
  • xiangzhihaoCSDN
  • 2017年06月27日 22:41
  • 923

深度学习word2vec笔记之应用篇

深度学习word2vec笔记之应用篇 声明: 1)该博文是Google专家以及多位博主所无私奉献的论文资料整理的。具体引用的资料请看参考文献。具体的版本声明也参考原文献...
  • mytestmy
  • mytestmy
  • 2014年08月16日 13:57
  • 12232

c#listview加载数据库内容

废话不多说,直接贴代码: using System; using System.Collections.Generic; using System.ComponentModel; using ...
  • hws1058648831a
  • hws1058648831a
  • 2013年06月08日 11:22
  • 1061
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:7.1 TensorFlow笔记(基础篇):加载数据之预加载数据与填充数据
举报原因:
原因补充:

(最多只允许输入30个字)