tensorflow语法
文章平均质量分 96
飞翔的大马哈鱼
这个作者很懒,什么都没留下…
展开
-
【tensorflow 大马哈鱼】tf. clip_by_global_norm
下面这两篇博客就这个问题讲的很详细:https://blog.csdn.net/u010814042/article/details/76154391https://blog.csdn.net/u013713117/article/details/56281715下面的代码是双向lstm+crf计算损失的部分,但是思路是通用的。with tf.variable_scope('crf...转载 2019-06-17 17:29:37 · 555 阅读 · 0 评论 -
【Tensorflow 大马哈鱼】start_queue_runners,与使用range_input_producer多线程读取数据
一、range_input_producer的用法先放关键代码:#i = tf.train.range_input_producer(epoch_size, shuffle=False).dequeue()i = tf.train.range_input_producer(NUM_EXPOCHES, num_epochs=1, shuffle=False).dequeue()处理列...原创 2019-02-02 15:04:20 · 869 阅读 · 0 评论 -
【Tensorflow 大马哈鱼】tf.add_to_collection,tf.get_collection 和tf.add_n的用法
tf.add_to_collection:把变量放入一个集合,把很多变量变成一个列表tf.get_collection:从一个结合中取出全部变量,是一个列表tf.add_n:把一个列表的东西都依次加起来如果是run变量,则更新cross_entropy_mean值如果继续add_to_collection则是在列表中增加变量如果tf.global_variables_init...原创 2019-01-16 11:24:36 · 556 阅读 · 0 评论 -
【Tensorflow 大马哈鱼】使用 queue 构建队列,并使用读取数据,以及string_input_producer
Tensorflow 提供队列读取数据构造 batch 的方法。队列可以加快数据度的速度,先进先出等等的基本特性就不赘述了,直接介绍tensorflow 是如何做的。首先,用给的文件名列表生成一个文件名队列(file name queue)。然后,从文件名队列中,按照指定的方式按个读取单个数据。最后,再把读出的数据放入另外一个队列中,该队列 dequeue 用以构造 batch 。...转载 2019-01-11 20:25:59 · 504 阅读 · 0 评论 -
【Tensorflow 大马哈鱼】构造LSTM超长简明教程
参考:Module: tf.nn.rnn_celltf.contrib.rnn.LSTMCell tf.nn.rnn_cell.LSTMCell 目前1.8版本这两个都可以,tf.contrib.rnn为主,贡献阶段,tf.nn.rnn_cell中还仅仅是目录和链接。到了1.12版本,LSTMCell,RNNCell等常用单元已搬迁至tf.nn.rnn_cell。...转载 2018-12-27 23:28:55 · 768 阅读 · 0 评论 -
【Tensorflow学习】 RNN 《莫凡》
cell = tf.contrib.rnn.BasicLSTMCell(n_hidden_units)init_state = cell.zero_state(batch_size, dtype=tf.float32)outputs, final_state = tf.nn.dynamic_rnn(cell, X_in, initial_state=init_state, time_m...原创 2018-10-03 12:41:49 · 755 阅读 · 1 评论 -
【Tensorflow 大马哈鱼】 参数初始化(initializer)
CNN中最重要的就是参数了,包括W,b。 我们训练CNN的最终目的就是得到最好的参数,使得目标函数取得最小值。参数的初始化也同样重要,因此微调受到很多人的重视,那么tf提供了哪些初始化参数的方法呢,我们能不能自己进行初始化呢?所有的初始化方法都定义在 tensorflow/python/ops/init_ops.py本文转载自:https://blog.csdn.net/m0_371677...转载 2018-12-12 11:07:14 · 706 阅读 · 0 评论 -
【Tensorflow 大马哈鱼】Graph和Session
因为篇幅和格式的缘故,这里的测试代码并没写全,全部的代码可以在我的GitHub上面找到:LearningTensorFlow/3.Graph_and_Session/一.Graph首先官方文档地址:tf.Graph 这里仅列出了最基本和频繁使用的函数,更多特定的需要请参考文档。Ⅰ.介绍一个TensorFlow的运算,被表示为一个数据流的图。 一幅图中包含一些操作(Operat...原创 2018-12-09 21:48:09 · 577 阅读 · 0 评论 -
【Tensorflow 大马哈鱼】张量与操作、Session() 和 InteractiveSession()
1. Graph图的用法TensorFlow中的图描述了计算过程,图通过Session的运行而执行计算。构建tf.Graph大多数 TensorFlow 程序都以数据流图构建阶段开始。在此阶段,您会调用 TensorFlow API 函数,这些函数可构建新的tf.Operation(节点)和tf.Tensor(边)对象并将它们添加到tf.Graph实例中。TensorFlow...原创 2018-12-09 12:19:00 · 274 阅读 · 0 评论 -
【Tensorflow 大马哈鱼】二维CNN函数、pooling函数、dense函数
在tf1.0中,对卷积层重新进行了封装,比原来版本的卷积层有了很大的简化。一、旧版本(1.0以下)的卷积函数:tf.nn.conv2dconv2d( input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=None)示例:c...原创 2018-12-11 21:55:44 · 928 阅读 · 0 评论 -
【Tensorflow 大马哈鱼】tf.layers 之 dense层、dropout层、batch_normalization层、pad层
之前写的代码都是基于比较底层的API了,底层的API其实是有好处的,虽然还是调API,但是至少对于原理有小小的理解才能够写出代码。而且在实现一些新的论文或者要实现一个新的点子的时候,这时候是没有API的,因此底层的API非常有存在的必要,且必须经过这一个过程。但是对于一个非常熟悉底层原理和经过了写底层代码这个过程的人,在有些很常见的任务上,就是用高级封装好的API就行。tf.layers就是提供...原创 2019-04-14 16:30:44 · 4068 阅读 · 0 评论 -
【Tensorflow 大马哈鱼】tf.layers.Dense是类, tf.layers.dense是函数
tf.layers.Dense是一个类,tf.layers.dense是一个函数。Dense类是1.4版本才加入的。Dense层就是密集连接(Densely-connected)层。该层实现了操作:outputs = activation(inputs * kernel + bias),其中activation是作为activation参数传递的激活函数(如果不是None),是由层创建的权重矩...转载 2018-12-06 10:42:30 · 1135 阅读 · 0 评论 -
【Tensorflow 大马哈鱼】 tf.metrics.accuracy
tf.metrics.accuracy返回两个值,accuracy为到上一个batch为止的准确度,update_op为更新本批次后的准确度。accuracy, update_op = tf.metrics.accuracy(labels=x, predictions=y)定义于:tensorflow/python/ops/metrics_impl.py。计算predictions...原创 2018-10-14 14:51:43 · 9089 阅读 · 0 评论 -
【Tensorflow学习】tf.data.Dataset使用
转载自:http://www.cnblogs.com/hellcat/p/8569651.html#_label6官方代码:https://www.tensorflow.org/api_docs/python/tf/data/DatasetTensorflow中之前主要用的数据读取方式主要有:建立placeholder,然后使用feed_dict将数据feed进placeholder进...原创 2018-09-30 16:18:21 · 2945 阅读 · 0 评论 -
【tensorflow 大马哈鱼】 tensorboard可视化《莫凡》
在当前目录下调用, 一个参数logdir, log是文件夹$ tensorboard --logdir log标准过程 #存储变量tf.summary.histogram('h_out', l1)#存储losstf.summary.scalar('loss', loss) #operation to merge all summary 建立merge操作#主要wr...原创 2018-09-28 10:55:41 · 411 阅读 · 0 评论 -
【tensorflow 大马哈鱼】 name_scope和variable_scope的区别
在tensorflow中,有两个scope, 一个是name_scope一个是variable_scope,这两个scope到底有什么区别呢? * name_scope: * 为了更好地管理变量的命名空间而提出的。比如在 tensorboard 中,因为引入了 name_scope, 我们的 Graph 看起来才井然有序。 * variable_scope: * 大大大部分情况下,跟 tf....转载 2018-09-27 13:40:42 · 393 阅读 · 0 评论 -
【tensorflow 大马哈鱼】tf.get_variable()和tf.Variable()的区别
1. tf.Variable()W = tf.Variable(<initial-value>, name=<optional-name>)''' '''W = tf.Variable( tf.zeros ([2,1]) )W = tf.Variable(tf.random_uniform([1, 2], -1.0, 1.0))W = tf.Variable(...转载 2018-09-24 21:16:41 · 352 阅读 · 0 评论 -
【tensorflow 大马哈鱼】高级保存与恢复的Supervisor模块
参考的教程https://blog.csdn.net/YiRanZhiLiPoSui/article/details/81143166参考入门文章:https://blog.csdn.net/u012436149/article/details/53341372给出了简单的完整流程,便于入门理解https://www.jianshu.com/p/7490ebfa3de8...转载 2019-05-12 23:40:14 · 464 阅读 · 0 评论 -
【Tensorflow 大马哈鱼】保存模型、再次加载模型等操作
由于经常要使用tensorflow进行网络训练,但是在用的时候每次都要把模型重新跑一遍,这样就比较麻烦;另外由于某些原因程序意外中断,也会导致训练结果拿不到,而保存中间训练过程的模型可以以便下次训练时继续使用。所以练习了tensorflow的save model和load model。参考于http://cv-tricks.com/tensorflow-tutorial/save-rest...原创 2018-09-09 17:39:00 · 1119 阅读 · 0 评论 -
TensorFlow学习笔记3:词向量
上篇博文讲了如何构建一个简单的CNN模型,并运行在MNIST数据集上。下面讲述一下如何在TensorFlow中生成词向量(Word Embedding),使用的模型来自Mikolov et al。本文的目录如下:解释使用连续词向量的原因;词向量模型的原理及训练过程;在TensorFlow中实现模型的简单版本,并给出优化的方法;TensorFlow实现了两个版本的模型转载 2017-06-19 20:19:07 · 3617 阅读 · 0 评论 -
TensorFlow学习笔记2:构建CNN模型
上篇博文主要是TensorFlow的一个简单入门,并介绍了如何实现Softmax Regression模型,来对MNIST数据集中的数字手写体进行识别。然而,由于Softmax Regression模型相对简单,所以最终的识别准确率并不高。下面将针对MNIST数据集构建更加复杂精巧的模型,以进一步提高识别准确率。深度学习模型TensorFlow很适合用来进行大规模的转载 2017-06-19 20:18:24 · 422 阅读 · 0 评论 -
TensorFlow学习笔记1:入门
TensorFlow 简介TensorFlow是Google在2015年11月份开源的人工智能系统(Github项目地址),是之前所开发的深度学习基础架构DistBelief的改进版本,该系统可以被用于语音识别、图片识别等多个领域。官网上对TensorFlow的介绍是,一个使用数据流图(data flow graphs)技术来进行数值计算的开源软件库。数据流图中的节点,代表数值运算转载 2017-06-19 20:17:26 · 415 阅读 · 0 评论 -
TensorFlow四种Cross Entropy算法实现和应用(理论)
Tensorflow交叉熵函数:cross_entropy以下交叉熵计算函数输入中的logits都不是softmax或sigmoid的输出,因为它在函数内部进行了sigmoid或softmax操作(一)tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, name=None)_...转载 2017-06-06 11:36:50 · 771 阅读 · 0 评论 -
交叉熵tf.nn.softmax_cross_entropy_with_logits的用法
在计算loss的时候,最常见的一句话就是tf.nn.softmax_cross_entropy_with_logits,那么它到底是怎么做的呢?首先明确一点,loss是代价值,也就是我们要最小化的值 tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None)除去name参数用以指定该操作的name,与方法有关...原创 2017-05-15 13:18:46 · 1051 阅读 · 0 评论 -
Tensorflow一些常用基本概念与函数(3)
摘要:本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的数据IO、图的运行等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之三。1、序言本文所讲的内容主要为以下相关函数:操作组 操作 Data IO (Python functions) TFRecordWrite,rtf_record_iterator Runn...原创 2017-05-13 16:47:45 · 438 阅读 · 0 评论 -
Tensorflow一些常用基本概念与函数(2)
摘要:本文主要对tf的一些常用概念与方法进行描述。为‘Tensorflow一些常用基本概念与函数’系列之二。1、tensorflow的基本运作为了快速的熟悉TensorFlow编程,下面从一段简单的代码开始:import tensorflow as tf #定义‘符号’变量,也称为占位符 a = tf.placeholder("float") b = tf.placeholde...原创 2017-05-13 16:46:59 · 716 阅读 · 0 评论 -
Tensorflow一些常用基本概念与函数(1)
摘要:本文主要对tf的一些常用概念与方法进行描述。1、tensorflow的基本运作为了快速的熟悉TensorFlow编程,下面从一段简单的代码开始:import tensorflow as tf #定义‘符号’变量,也称为占位符 a = tf.placeholder("float") b = tf.placeholder("float") y = tf.mul(原创 2017-05-13 16:45:27 · 629 阅读 · 0 评论 -
神经网络_多层感知机MLP_以mnist为例(tensorflow和keras实现)
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=y_, labels=y))optimizer1= tf.train.AdamOptimizer(learning_rate=0.001).minimize(cost)# Adam Optimizer优化器from tensorflow.e...原创 2017-08-18 17:10:49 · 679 阅读 · 0 评论 -
[重要] tensorflow二元或softmax分类例子(手写体)
参考这个官方文档 王津的例子 from tensorflow.examples.tutorials.mnist import input_data#或import input_dataimport osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '3'mnist = input_data.read_data_sets('MNIST_data'...原创 2017-05-13 12:32:07 · 1414 阅读 · 0 评论 -
[重要]tensorflow逻辑回归例子
成本函数是“交叉熵”(交叉熵)交叉熵产生于信息论里面的信息压缩编码技术,但是它后来演变成为从博弈论到机器学习等其他领域里的重要技术手段它的定义如下。:y 是我们预测的概率分布, y' 是实际的分布(我们输入的one-hot vector)。比较粗糙的理解是,交叉熵是用来衡量我们的预测用于描述真相的低效性。的关于交叉熵的解释超出本教程的范畴,但是你很有必要好好理解它。为了计算交叉熵...原创 2017-05-10 21:17:54 · 1248 阅读 · 0 评论 -
[重要] tensorflow线性回归例子
loss = tf.reduce_mean(tf.square(y - y_))optimizer = tf.train.GradientDescentOptimizer(0.5)线性回归最常用的耗费函数就是MSE均方误差多变量线性回归例子from __future__ import print_functionfrom __future__ import absolut...原创 2017-05-09 21:59:48 · 2631 阅读 · 0 评论 -
[重要] tensorflow笔记(二) :常用函数说明
1.矩阵操作1.1矩阵生成这部分主要将如何生成矩阵,包括全0矩阵,全1矩阵,随机数矩阵,常数矩阵等tf.ones | tf.zerostf.ones(shape,type=tf.float32,name=None) tf.zeros([2, 3], int32) 用法类似,都是产生尺寸为shape的张量(tensor)sess = tf.InteractiveSessio...转载 2017-05-13 11:31:06 · 612 阅读 · 0 评论 -
[重要] tensorflow笔记(一):流程,概念和简单代码注释
注意:# 建立抽象模型x = tf.placeholder(tf.float32, [None, 784]) # 输入占位符y = tf.placeholder(tf.float32, [None, 10]) # 输出占位符(预期输出)W = tf.Variable(tf.zeros([784, 10])) b = tf.Variable(tf.zeros([1...转载 2017-05-13 11:29:14 · 473 阅读 · 0 评论