python编程
旭旭_哥
码农一枚
展开
-
python中pandas库学习笔记
现在回想学pandas很意外,记得五月份的时候刚刚跑到现在的公司实习,那个时候公司没发电脑,当时天天去那就看书(自己的电脑被朋友拿走了),就这样看了半个月的pandas,后来也就慢慢用上了,下面是pandas个人学习的一些简单笔记:#python中的pandas库主要有DataFrame和Series类(面向对象的的语言更愿意叫类) DataFrame也就是#数据框(主要是借鉴R里面的data.原创 2015-10-13 21:19:20 · 12873 阅读 · 0 评论 -
双向LSTM实现实现
本文也就是用于图像分类,数据是minst数据,先看下tensorflow的版本,下面在代码低版本可能运行不了:In [1]: import tensorflow as tfIn [2]: tf.__version__Out[2]: '1.2.1'我用的动态rnn来实现,双向rnn跟一层的rnn实际代码上没有太大的区别,主要要用tf.concat(output原创 2017-09-26 15:56:44 · 5159 阅读 · 0 评论 -
cnn、rnn实现中文文本分类(基于tensorflow)
代码主要参考这位大神的博客,这边说的比较清楚,http://blog.csdn.net/u011439796/article/details/77692621tensorflow版本:In [33]: tf.__version__Out[33]: '1.2.1'首先是数据获取:curl -O "http://thuctc.thun原创 2017-10-11 19:45:44 · 8403 阅读 · 2 评论 -
tensorflow中保存模型、加载模型做预测(不需要再定义网络结构)
下面用一个线下回归模型来记载保存模型、加载模型做预测参考文章:http://blog.csdn.net/thriving_fcl/article/details/71423039训练一个线下回归模型并保存看代码:import tensorflow as tfimport numpy as npimport matplotlib.pyp原创 2017-10-11 23:11:21 · 26800 阅读 · 2 评论 -
java读取tensorflow中图像的分类模型
经常在tensorflow中训练的图像模型,实际部署常见的用的是c++,实际java中也可以部署,在图像分类中,图像的预处理较为简单,只要做去均值和方差话(归一化),就可以使用,上午刚刚跟同事跑通了色情模型,先看下依赖吧,其中tensorflow的版本必须是1.4.0以上,我看下1.2.1,1.3.0其中缺失了一个这个类,org.tensorflow.types.Uint8,这个不能运行成功,原创 2017-11-07 19:57:46 · 6675 阅读 · 20 评论 -
将tensorflow训练好的模型部署成sercice服务,并做预测
web框架用的是tornado,模型加载在上一篇博客已经提到,下面写了一个service.py文件:import tornado.webimport loggingimport stringimport osimport sysfrom predict import predictlogger = logging.getLogger('mylogger')logger.setLevel原创 2017-10-13 16:13:50 · 9493 阅读 · 4 评论 -
cnn、rnn相结合进行文本分类
主要参考代码思路:https://github.com/jiegzhan/multi-class-text-classification-cnn-rnncnn和rnn结合一起进行文本分类主要思路如下:data--->batch iter-->cnn input-->embedding--->卷积--->池化--->rnn输入--->lst原创 2017-10-30 23:46:15 · 9567 阅读 · 3 评论 -
tflearn中lstm文本分类相关实现
最近偶然看到tflearn这个东西,相比tensorflow已经是对原始相关接口做了很大的封装,api通俗易懂去源码写的还真是不错,本例子实现一个lstm网络,看看吧,就几十行代码就可以实现,要部署到线上也应该及其简单,对于tensorflow不熟悉的人可以说是个很好的东西:import osimport tflearnprint(os.path.dirname(__file__)原创 2017-10-15 19:40:32 · 3532 阅读 · 0 评论 -
tflearn中使用cnn做分类并做预测
数据情况在上一篇博客中已经提到,直接看代码,定义网络结构比较简单:from __future__ import division, print_function, absolute_importimport tensorflow as tfimport tflearnfrom tflearn.layers.core import input_data, dropout, fully_c原创 2017-10-15 19:41:23 · 7251 阅读 · 2 评论 -
tensorflow喂数据进模型小例子
学习深度学习,个人觉得最基础的应该知道怎么喂数据进模型,数据不可能一次性全部进模型,而是选取一个batch的进入,下面写了个小例子模仿来实现,希望能加深理解:import numpy as npx=[[1,1],[1,2],[1,3],[1,4],[1,5],[1,6],[1,7]]y=[[0,1],[1,0],[0,1],[0,1],[0,1],[1,0],[1,0]]"""生成原创 2017-10-15 23:07:55 · 3642 阅读 · 0 评论 -
static_rnn 和dynamic_rnn的区别
最近在看tensorflow的api接口,发现tensorflow中提供了rnn接口有两种,第一种是静态的rnn,另外一种是动态的rnn,这两种区别查了一些资料其中:https://stackoverflow.com/questions/39734146/whats-the-difference-between-tensorflow-dynamic-rnn-and-rnn说的比较清楚,原文如下原创 2017-09-26 15:54:03 · 10717 阅读 · 0 评论 -
tensorflow 实现rnn
本文主要用于讨论官方自带的一个例子,rnn,用于多对一的情况,也就是用于图像分类,先看下tensorflow的版本,下面在代码低版本可能运行不了:In [1]: import tensorflow as tfIn [2]: tf.__version__Out[2]: '1.1.0-rc0'代码:import tensorflow as tff原创 2017-08-07 00:08:57 · 1055 阅读 · 0 评论 -
tensorflow 批量读取csv文件用于做深度学习算法相关
目前用了tensorflow、deeplearning4j两个深度学习框架,dl相关算法对数据格式要求都是批量的喂进去,deepl4j在前面已经有几个例子说明,tensorflow也可以批量读取数据,不断给dl算法喂数据进去,在网上刚刚看到一个例子,http://www.cnblogs.com/hunttown/p/6844477.html ,首先数据格式如下,鸾尾花数据做机器学习的人应该都知原创 2017-08-06 19:15:22 · 9191 阅读 · 0 评论 -
python中matplotlib和pandas画图
画图在工作再所难免,尤其在做数据探索时候,下面总结了一些关于python画图的例子#encoding:utf-8'''Created on 2015年9月11日@author: ZHOUMEIXU204'''# pylab 是 matplotlib 面向对象绘图库的一个接口。它的语法和 Matlab 十分相近import pandas as pdfrom ggplot原创 2015-10-12 09:07:03 · 23051 阅读 · 0 评论 -
利用tensorflow来做验证码识别
前些天简单利用tensorflow做了一个验证码识别,模型是用的cnn,没有gpu,跑起来真是醉了,深度学习相关的东西果然是土豪公司玩的,难怪深度学习上世纪80年代就有到现在才大火大热,不多说,看看代码,代码主要参考一个大牛的,忘记地址,还是记录下。# -*- coding: utf-8 -*-"""Created on Mon Dec 26 14:09:27 2016原创 2017-01-06 15:12:38 · 14677 阅读 · 11 评论 -
lightgbm python基本使用 --mac下操作
好几天没有更新博客,最近指标压力大,没去摸索算法,今天写这个博客算是忙里偷闲吧,lightgbm的基本使用,python接口,这个工具微软开源的,号称比xgboost快,具体没怎么对比,先看看如何使用的.安装编译,其中第一步和第二步以前安装xgboost时候安装过,可以直接跳过brew install cmakebrew install gcc --without-原创 2017-06-09 13:02:56 · 32959 阅读 · 1 评论 -
rnn python实现
早上看到公众号用python代码实现rnn,看了下原地址,rnn原理比较简单,但是有了各种变种如lstm、seq2seq等模型,目前查看的一些资料rnn都是基于一些框架来实现,比如tensorflow、deeplearning4j,caffe等,很少有徒手实现,刚刚看好到一篇记录下:参考文献:https://iamtrask.github.io/2015/11/15/anyone-can-co原创 2017-08-03 17:37:04 · 2311 阅读 · 0 评论 -
crf++ 安装
crf++包下载地址:https://drive.google.com/drive/folders/0B4y35FiV1wh7fngteFhHQUN2Y1B5eUJBNHZUemJYQV9VWlBUb3JlX0xBdWVZTWtSbVBneU0python安装:参考:http://blog.csdn.net/nicholas_wong/article原创 2017-08-04 12:32:19 · 1140 阅读 · 0 评论 -
tensorflow学习相关资料收集
tensorflow学习相关资料整理,先整理下下面的博客情况:http://blog.topspeedsnail.com/archives/10858 https://my.oschina.net/yilian/blog/664632http://blog.csdn.net/lujiandong1/article/category/6526395/1http://原创 2017-08-05 22:49:07 · 298 阅读 · 0 评论 -
tensorflow 卷积神经网络实现
之前用deeplearning4j实现卷积神经网络,实际卷积比较好理解,这里刚刚好有一篇博客写的是比较详细的,我记录下,卷积神经网络在tensorflow下实现情况,主要参考代码是:http://www.jeyzhang.com/tensorflow-learning-notes-2.html 代码如下: # -*- coding: utf-8 -*- import te...原创 2017-08-05 22:52:03 · 389 阅读 · 0 评论 -
tensorflow实现线下回归、softmax回归、bp神经网络
先入门做简单的线下回归,最小二乘化利用tensorflow来实现,代码原理如下:#encoding:utf-8import sysimport tensorflow as tfimport numpy as npx_data=np.random.rand(100).astype(np.float32)y_data=x_data*0.1+0.55#create tenso原创 2017-08-05 23:58:41 · 4411 阅读 · 0 评论 -
卷积网络中的VALID与SAME
当padding="SAME"的时候,卷积、池化层计算大小公式为:out_height=ceil(inputheight/stride[1])out_width =ceil(inputweight/stride[2]) 跟filter,ksize大小并么有关系,只跟stride有关系当padding="VALID"的时候,卷积、池化层计算大小公式为,跟filter原创 2017-11-04 19:07:25 · 3763 阅读 · 0 评论 -
rnn、lstm,gru中output信息说明
在一般的rnn模型中,rnn一般输出的形式如下[batch,seq_len,hidden_size],如果用做分类,一般是取最后一个状态[batch,hidden_size],如果用于做词性标注和分词则取全部的状态[batch,seq_len,hidden_size],下面介绍下用于文本分类取最后状态的两种方法,一种是直接transpose,取[-1]最后一个状态,大小变为[batch,hidde原创 2017-12-08 17:01:55 · 1039 阅读 · 0 评论 -
java请求tensorflow-serving服务,返回模型结果
模型是前面训练一个简单的模型,用java调有个前提要是1.8的版本,有个jar包是1.8编译的,低版本会报错,先看下maven依赖,参考https://blog.csdn.net/shin627077/article/details/78592729<dependency> <groupId>com.yesup.oss</groupId>...原创 2018-04-05 14:25:19 · 7493 阅读 · 7 评论 -
nmt框架笔记之数据读取
不得不说Google出品,必属精品,这几天读了nmt模型的代码开源实现,对数据读取又有一番了解,之前的一些demo或者一些个人开源的作品,读数据进模型无非是使用placeholder和tfrecord,但是在nmt模型中提供了tf.data的形式,下面做一些笔记记录一下读后感首先是utils下面的vocab_utils.py文件,这个文件提供了load_vocab、check_vocab、crea...原创 2018-04-19 11:54:30 · 1821 阅读 · 0 评论 -
lightgbm模型通过pmml存储,在java中调用
lightgbm模型是微软开源的一个模型,比xgboost快个10倍左右,原始训练使用的是c++,也提供了python接口,晚上摸索了下lightgbm在python中训练,转化为pmml语言,在java中调用,过程碰到不少坑,记录下,首先是 git clone https://github.com/jpmml/jpmml-lightgbm/tree/master/src/main/java/...原创 2018-04-26 00:14:10 · 10802 阅读 · 4 评论 -
xgboost模型通过pmml存储,在java中调用
xgboost已经提供丰富的java接口,再通过pmml调用显得没多大的意义,java底层用的c++写的预测方法,超级快,不过还是记录下,直接看看python代码,数据还是鸾尾花数据:import pandas as pdfrom xgboost.sklearn import XGBClassifierfrom sklearn2pmml import PMMLPipelinefrom sk...原创 2018-04-26 15:12:27 · 6429 阅读 · 0 评论 -
TensorFlow serving加载的模型格式在java中直接加载
记得上几篇博客有提到用tensorflow 中保存模型,然后用tensorflow serving中启动服务再用java调用,实际这样绕了很多,今天发现在java中也能直接加载调用TensorFlow serving中调用的格式,实际在java中也可以直接调用pb文件的模型,前面也提到,这也算是另外一种方式吧直接看代码:Python 生成模型代码,可以用在TensorFlow serving ...原创 2018-05-15 22:53:38 · 4558 阅读 · 4 评论 -
resnet_v2、resnet_v1、inception等网络简单实现及部署
resnet_v2、resnet_v1、inception这些网络在tensorflow中封装的比较死,全部封装在slim模块下,当然一些更高级的网络暂时没看到封装在下面,比如胶囊网络、以及inceptionv4,对应的finetune模型下载地址如下:https://github.com/tensorflow/models/tree/master/research/slim,下面写的博客基本上一...原创 2018-09-25 21:10:04 · 1760 阅读 · 0 评论 -
BERT+BiLSTM-CRF-NER用于做ner识别
本周五快下班的时候看到别人写了个bert语言模型作为输入,用于做ner识别,后面可以是cnn或者直接是crf层,bert在这里作为word2vec模型的替换着,原始地址https://github.com/macanv/BERT-BiLSTM-CRF-NER,在这里需要注意的是TensorFlow版本需要1.9版本:整理逻辑还是比较简单,别看谷歌写了那么多代码,实际就是把bert模型替换了原来...原创 2018-12-02 22:10:47 · 59564 阅读 · 49 评论 -
bert模型字向量获取---web服务
周末花时间写了个bert子向量获取的web服务,这东西以后完全是要替换word2vec模型,再过些估计会像word2vec那样,每个人都可以玩,下面看看怎么使用把,不难: 中文bert模型下载:https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip下载之后解压 把下面代码中的be...原创 2018-12-10 14:43:42 · 10715 阅读 · 15 评论 -
利用flask来访问tensorflow-serving服务
参考githup地址:https://github.com/aaxwaz/Serving-TensorFlow-Model 启动服务:bazel build //tensorflow_serving/model_servers:tensorflow_model_servernohup bazel-bin/tensorflow_serving/model_servers/tensorflow_...原创 2018-04-04 23:30:18 · 4877 阅读 · 0 评论 -
mac下安装tensorflow serving步骤及踩的坑
参考:https://weiminwang.blog/2017/09/12/introductory-guide-to-tensorflow-serving/ https://blog.csdn.net/bingningning/article/details/72933932https://blog.csdn.net/wc781708249/article/details/78596459...原创 2018-04-04 20:13:05 · 4833 阅读 · 0 评论 -
使用tfrecord喂数据到graph到模型训练到模型Saver到存储为pb格式文件
我看现在网络上大多数据教程或者demo用tensorflow训练一个模型,喂数据使用tf.placeholder,但是在大型的文本或者图像数据里面使用placeholder就不wok,性能和内存都是瓶颈。还有大多数代码模型保存什么都没有,更别说模型部署,本篇博客从原始数据转化为tfrecord ,再把tfrecord数据丢给模型训练,再到模型保存,这里把保存好的模型再转化为pb格式文件模型,模型...原创 2018-04-11 14:22:09 · 3093 阅读 · 4 评论 -
加法的attenion简单的实现
一般Attention可以用于seq2seq中,也可以就用于简单的rnn模型中,下面介绍用于简单的rnn模型+attenion机制实现,流程答题可以分为:rnn部分,假如模型输入是一个这样tensor:rnn_outputs=[batch,seq_len,hidden_size]attention初始化3个tensor:w=[hidden原创 2017-12-08 17:03:00 · 984 阅读 · 0 评论 -
Simple Recurrent Unit For Sentence Classification tensorflow实现
网上看到一篇文章关于SRU的原理以及实现,不过是基于pytorch,地址如下:https://mp.weixin.qq.com/s/2I9_cF3F5MO3l5rE1VY2ng在这里用tensorflow来实现,先看下SRUCell实现:import mathimport numpy as npimport tensorflow as tffrom tensor原创 2017-11-25 14:16:50 · 1593 阅读 · 2 评论 -
rnn Attention网络的实现
在gru、lstm网络中加入Attention机制,具体看看网络实现:utils方法:#!/usr/bin/python# -*- coding: utf-8 -*-from collections import Counterimport tensorflow.contrib.keras as krimport numpy as npimport osimport c原创 2017-11-25 14:18:48 · 3799 阅读 · 0 评论 -
Network-in-Network简单实现,基于tensorflow
Network-in-Network 实际是2014年的提出的论文,深度学习发展这么猛,实际已经算是比较老的论文了,其理论基础是在卷积的基础上不再依赖于全连接层,只依赖于卷积、池化、relu层,后面直接接softmax,改论文作者在多层感知器中采用的激活函数是ReLU。这样的局部多层感知器恰好也可以使用1*1的卷积核来实现。从池化的角度看,增加的多层感知器相当于是一个含参的池化层,通过对多个特征图原创 2017-12-05 17:57:49 · 2352 阅读 · 1 评论 -
Hierarchical Attention Network for Document Classification中文文本分类,以及模型部署
这周五写了尝试把attention加入rnn网络中做文本分类,实际这种思想来源于Hierarchical Attention Network for Document Classification,周末整整花了一天半的时间来搞这个网络,终于把模型在tensorflow训练好,并部署在java上面,下面看看吧:首先是把一段中文文本看成一个doc,然后把doc分解成sen,再对se原创 2017-11-26 15:21:39 · 1988 阅读 · 1 评论 -
seq2seq模型简单实现
理论参考:https://mp.weixin.qq.com/s/qXMRHxDDRa-_rJZMhXWB4whttp://blog.csdn.net/liuchonge/article/details/78824572http://blog.csdn.net/liuchonge/article/details/78856692代码参考 h原创 2017-12-26 17:13:32 · 2510 阅读 · 2 评论