- 博客(140)
- 收藏
- 关注
RSS订阅转载 140、spring webflux 高并发的spring组件
最近公司可谓是风云变幻，年前说要拆开卖，后来说要整体卖，表示像我这种渣渣，始终逃脱不掉被卖的命运下面进入正题spring webflux 是spring 支持的高并发web框架，将每个http请求都以java nio的非阻塞方式来进行处理这样当cpu在处理一个请求的空隙时，还有时间来处理其他请求。提高CPU资源的运行效率下面来看如何进行实现1、首先e...
2019-03-05 07:44:00
377
转载 138、Tensorflow serving 实现模型的部署
将Tensorflow模型部署成Restful接口下面是实现过程，整个操作都是在Linux上面实现的，因为Tensorflow Serving目前还只支持Linux这个意义真的是革命性的，因为从此以后大家就可以将训练好的模型真正的通过Restful接口与其他所有的ERP 或者 CRM系统进行集成啦上面这个图片是 Server加载模型，并且成功运行上面...
2018-03-02 00:56:00
266
转载 137、TensorFlow使用TextCNN进行文本分类
下面是分类的主函数入口#! /usr/bin/env pythonimport tensorflow as tfimport numpy as npimport osimport timeimport datetimeimport data_helpersfrom text_cnn import TextCNNfrom tensorflow.c...
2018-02-17 22:27:00
306
转载 136、TensorFlow的Embedding lookup
import tensorflow as tf; import numpy as np; c = np.random.random([10, 1]) b = tf.nn.embedding_lookup(c, [1, 3]) with tf.Session() as sess: sess.run(tf.global_variabl...
2018-02-17 11:29:00
169
转载 135、TensorFlow SavedModel工具类的使用
# SavedModelBuilder 类提供了保存多个MetaGraphDef的功能# MetaGraph是一个数据流图，加上它的关联变量，资产和标签# 一个MetaGraphDef是一个协议缓冲表示区# 一个signature是计算图的输入和输出表示# 如果assets需要被保存或者写入到磁盘上，当第一个MetaGraphDef被加载的时候# asset就可以...
2018-02-17 11:27:00
148
转载 134、TensorFlow检查点checkpoint文件中的信息
# 1、你想创建多少Saver对象就可以创建多少，如果你需要去保存和恢复不同的子图模型# 同样的变量可以在不同的saver对象中被加载# 只有在Saver.restore()方法被调用的时候才会对变量的值进行计算# 2、如果你在session开始的时候只恢复一部分变量的值。# 你必须重新初始化其他变量的值# 3、如果想检查checkpoint文件中变量的值，可以使...
2018-02-17 11:26:00
144
转载 133、TensorFlow加载模型（二）
# 选择哪个变量来保存和恢复# 如果你没有传递任何的参数到tf.train.Saver()# 这个saver会处理计算图中所有的变量# 每一个变量都被保存，保存的名字就是当初创建他们时候的名字# 有时候在checkpoint文件中声明名字也是很有用的# 例如 你或许已经训练完一个模型，其中还有变量叫做weights# 他的值你想存进文件中叫做params#...
2018-02-17 11:25:00
92
转载 132、TensorFlow加载模型
# The tf.train.Saver对象不仅保存变量到checkpoint文件# 它也恢复变量，当你恢复变量的时候，你就不必须要提前初始化他们# 列如如下的代码片段解释了如何去调用tf.train.Saver.restore方法，来从checkpoint文件中恢复变量import tensorflow as tftf.reset_default_graph()...
2018-02-17 11:24:00
97
转载 131、TensorFlow保存模型
# tf.train.Saver类提供了保存和恢复模型的方法# tf.train.Saver的构造函数 提供了save和恢复的参数选项# Saver对象提供了方法来运行这些计算节点，制定了写和读的路径# Saver会恢复所有在你模型当中已经定义的变量# 如果你加载一个模型没有通知如果构建该模型的计算图# TensorFlow 在二进制检查点文件中保存变量, 粗略地...
2018-02-17 11:22:00
127
转载 130、TensorFlow操作多个计算图
# Programming with multiple graphs# 当训练一个模型的时候一个常用的方式就是使用一个图来训练你的模型# 另一个图来评价和计算训练的效果# 在许多情况下前向计算和训练是不同的# 例如像Dropout和batch正则化使用不同的操作在不同的Case条件下# 更进一步地说 通过使用默认的工具类，如tf.train.Saver使用tf.V...
2018-02-17 11:21:00
153
转载 129、TensorFlow计算图的可视化
import tensorflow as tf# Build your graphx = tf.constant([[37.0, -23.0], [1.0, 4.0]], name="inputs")w = tf.Variable(tf.random_uniform([2, 2]), name="weights")_y = tf.matmul(x, w, name="...
2018-02-17 11:19:00
120
转载 128、TensorFlow元数据MetaData
#tf.Session.run也接收一个可选的参数options#能够让你来配置训练时的参数#run_metadata参数让你能够收集关于训练的元信息#列如你可以使用这些可选项来追踪执行的信息import tensorflow as tfy = tf.matmul([[37.0, -23.0], [1.0, 4.0]], tf.random_uniform([2,...
2018-02-17 11:17:00
1145
转载 127、TensorFlow 计算图执行(二)
import tensorflow as tf# Define a placeholder that expects a vector of three floating-point values# and a computation that depends on itx = tf.placeholder(tf.float32, shape=[3])y = tf.s...
2018-02-17 11:13:00
137
转载 126、TensorFlow Session的执行
# tf.Session.run 方法是一个执行tf.Operation或者计算tf.Tensor的一个主要的机制# 你可以传递一个或者多个tf.Operation或者tf.Tensor对象来给tf.Session.run# TensorFlow会执行operation操作来计算结果# tf.Session.run需要你来指定一系列的获取，这些决定了返回值# 这些获取...
2018-02-17 11:10:00
94
转载 124、TensorFlow替换函数
# tf.device给你了很多可伸缩性在TensorFlow的计算图中选择放置你的单独的操作# 在许多的情况下，有很多启发可以工作的很好# 例如tf.train.replica_device_setter API可以和tf.device一起使用，在进行数据分布式并行性话训练的时候# 列如下面的代码块显示了tf.train.replica_device_setter 如...
2018-02-17 11:08:00
165
转载 125、TensorFlow计算图的执行
# TensorFlow使用tf.Session类来表示客户端程序之间的链接# 虽然一个在其他语言中相似的接口也是可以使用的，列如C++ runtime# 一个tf.Session对象提供了访问本地机器的方法，和使用TensorFlow运行时远程链接到设备的方法# 它也对你的计算图信息进行缓存，因此你可以高效地运行相同的计算很多遍# import tensorflow...
2018-02-17 11:08:00
118
转载 123、TensorFlow的Job
# 如果你在分布式环境中部署TensorFlow# 你或许需要指定job name和task ID# 来将变量放置在参数服务器上# 将操作放在worker jobimport tensorflow as tfwith tf.device("/job:ps/task:0"): weights_1 = tf.Variable(tf.truncated_n...
2018-02-17 11:06:00
126
转载 122、TensorFlow多设备运行
# 如果你想使你的程序运行在不同的设备上# tf.device函数提供了一个方便的方法来实现# 所有在特定上下文中的操作都放置在相同的设备上面# A device specification has the following form:# /job:<JOB_NAME>/task:<TASK_INDEX>/devic...
2018-02-17 11:04:00
118
转载 121、TensorFlow张量命名
# tf.Graph对象定义了一个命名空间对于它自身包含的tf.Operation对象# TensorFlow自动选择一个独一无二的名字，对于数据流图中的每一个操作# 但是给操作添加一个描述性的名字可以使你的程序更容易来阅读和调试# TensorFlow api提供两种方式来重写一个操作的名字# 1、每一个api函数创建了一个新的tf.Operation或者返回一个新...
2018-02-17 11:03:00
145
转载 120、TensorFlow创建计算图（二）
#创建一个计算流图#大多数tensorflow程序开始于dataflow graph 的构造函数#在这个命令中你执行了tensorflow api的函数#创建了新的操作tf.Operation (node)#和tf.Tensor (edge) 对象，并且将它们添加到了tf.Graph的实例中#TensorFlow提供了默认的数据流图，是一个非显式声明的参数#t...
2018-02-17 11:01:00
150
转载 119、TensorFlow如何创建计算图
#Dataflow是并行化编程常用的方式#当使用TensorFlow执行你的程序的时候有以下几个优点#1、并行化 。通过声明的边来代表操作之间的依赖# 对系统来说确定可以并行化的操作是比较容易的#2、分布式执行：# 通过使用声明的边来代表操作之间值的传递# 这样使得tensorflow在跨多平台之间执行你的程序，# Tens...
2018-02-17 11:00:00
151
转载 118、TensorFlow变量共享(二)
import tensorflow as tf# 在不同的变量域中调用conv_relu，并且声明我们想创建新的变量def my_image_filter(input_images): with tf.variable_scope("conv1"): # Variables created here will be named "conv1/wei...
2018-02-17 11:00:00
91
转载 117、TensorFlow变量共享
# sharing variables# Tensorflow supports two ways of sharing variables# 1、Explicitly passing tf.Variable objects around# 2、Implicitly wrapping tf.Variable objects within tf.variable_scope...
2018-02-17 10:59:00
95
转载 116、TensorFlow变量的版本
import tensorflow as tfv = tf.get_variable("v", shape=(), initializer=tf.zeros_initializer())assignment = v.assign_add(1)# Because variables are mutable # it's sometimes useful to know ...
2018-02-17 10:58:00
108
转载 115、TensorFlow变量的使用
# To use the value of a tf.Variable in a Tesnorflow graph , simply treat it like a normal tf.Tensorimport tensorflow as tfv = tf.get_variable("v", shape=(), initializer=tf.zeros_initialize...
2018-02-17 10:56:00
113
转载 114、TensorFlow设备放置
# creates a variable named v and places it on the second GPU deviceimport tensorflow as tf#with tf.device("/device:GPU:1"):# v = tf.get_variable("v", [1])#it is particularly import...
2018-02-17 10:55:00
88
转载 113、TensorFlow变量集合
#一个tensorflow程序断开的部分可能要创建变量# 如果有一种方法来访问所有的变量是非常有用的#因为这个原因TensorFlow提供了集合，是一些张量的集合#或者是其他的对象，就像tf.Variable 实例一样# 默认情况下 tf.Variable 对象被放置在下面的两个集合中# tf.GraphKeys.GLOBAL_VARIABLES#变量可以在多...
2018-02-17 10:51:00
100
转载 112、TensorFlow初始化变量
# 创建一个变量# 最简单创建一个变量的方法就是调用 tf.get_variable functionimport tensorflow as tf# 下面创建了一个三维的张量大小是 [1,2,3]# 这个变量会有初始值，并且和默认的数据类型是tf.float32# 将会通过 tf.glorot_uniform_initializer 方法来进行初始化my_v...
2018-02-17 10:38:00
81
转载 111、TensorFlow 初始化变量
# 显式的初始化时非常有用的# 因为它可以让你不用重复进行繁重的初始化工作# 当你重新从checkpoint文件中加载一个模型的时候# 当随机初始化变量被配置在分布式的配置文件中# 为了在开始训练之前一次性初始化变量# 调用这个方法tf.global_variables_initializer()# 这个函数返回一个负责初始化所有变量的操作。# 在这个 t...
2018-02-16 23:11:00
68
转载 110、TensorFlow张量值的计算
import tensorflow as tf#placeholders在没有提供具体值的时候不能使用eval方法来计算它的值# 另外的建模方法可能会使得模型变得复杂# TensorFlow 不能再session还没有开启的时候就计算张量的值p = tf.placeholder(tf.float32)t = p + 1.0init = tf.global_va...
2018-02-16 21:55:00
90
转载 109、TensorFlow计算张量的值
# 当计算图创建成功时# 你就可以运行这个计算图，然后生成一个新的张量# 并且得到这个张量指向的计算图中具体的数值#这个功能在debug的时候非常有必要#最简单获得张量具体值的方法是使用Tensor.eval methodimport tensorflow as tfconstant = tf.constant([1, 2, 3])#进行点乘，对应位置的元...
2018-02-16 21:51:00
114
转载 108、TensorFlow 类型转换
# 除了维度之外Tensorflow也有数据类型# 请参考 tf.DataType# 一个张量只能有一个类型# 可以使用tf.cast，将一个张量从一个数据类型转换到另一个数据类型# 下面代码显示的就是将一个张量的类型从integer类型转换为float类型import tensorflow as tffloat_tensor = tf.cast(tf.con...
2018-02-16 21:45:00
124
转载 107、TensorFlow变量（三）
创建秩为1的张量# create a rank1 tensor objectimport tensorflow as tfmystr = tf.Variable(["Hello"], tf.string)cool_numbers = tf.Variable([3.14159, 2.71828], tf.float32)first_primes = tf.Varia...
2018-02-16 21:36:00
53
转载 106、TensorFlow变量 (二) reshape
import tensorflow as tfrank_three_tensor = tf.ones([3, 4, 5]) # 创建一个[3,4,5]大小的张量，3行4列，每个位置上有五个元素matrix = tf.reshape(rank_three_tensor, [6, 10]) # 将当前变量reshape成[6,10]个大小的变量...
2018-02-16 20:58:00
292
转载 105、TensorFlow的变量(一)
import tensorflow as tfmammal = tf.Variable("Elephant", tf.string)ignition = tf.Variable(451, tf.int16)floating = tf.Variable(3.14159265359, tf.float64)its_complicated = tf.Variable(1...
2018-02-16 20:32:00
77
转载 104、Tensorflow 的变量重用
import tensorflow as tf# 在不同的变量域中调用conv_relu，并且声明我们想创建新的变量def my_image_filter(input_images):with tf.variable_scope("conv1"):# Variables created here will be named "conv1/weights" ,"conv...
2018-02-11 14:21:00
140
转载 103、Linux 编译 Kaldi 语音识别工具
由于这个开源的语音识别工具Kaldi只能在Linux下面成功编译，所以这一小节来写如何成功地在Linux下面编译Kaldi工具（1）第一步，去github 上面把 Kaldi下载下来git clonehttps://github.com/kaldi-asr/kaldi.git（2）然后 首先编译openFST有限状态机进入到tools文件夹中cdkaldi\t...
2018-01-02 23:11:00
171
转载 102.kaldi 斯坦福语音识别工具的编译
接着上一节，在编译完了openFST有限状态机之后，便开始了最重要部分，语音识别插件的编译过程首先看目录是如下所示的1、首先添加openBLAS的支持，这是一个矩阵运算库，个人觉得这个矩阵运算库 应该提供 像什么 乔莱斯分解啊 LU分解呀 等优化矩阵运算的方法， 不然的话怎么好意思成为 矩阵运算的库呢 到下面这两个...
2017-12-31 22:17:00
122
转载 101、有限状态机的编译c++
Hi Dear今天是 2017/12/31 跨年之夜，今天白天突然之间兴起，想起来了夏天的时候看的斯坦福cs224d的自然语言处理课程，上面最后讲的语音识别的开源工具Kaldi。于是便想着来动手试一试这个工具到底好不好用呀。哈哈哈因为语音识别是使用DNN+有限状态机 来实现的。所以这一小节主要讲解有限状态机的编译。在吴军老师的数学之美和周志华老师的机器学习中也讲解了有...
2017-12-31 20:38:00
116
转载 100、TensorFlow实现FFM Field-awared FM模型
'''Created on 2017年11月15日@author: weizhen'''import tensorflow as tfimport pandas as pdimport numpy as npimport osinput_x_size = 80;field_size = 8;vector_dimension = 3;to...
2017-12-09 23:30:00
299
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人