- 博客(90)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 ubuntu18.04安装GPU版本的docker，并开启tf-serving(gpu)
1.docker安装首先安装docker-ce，这部分教程很多，不难。2.nvidia-docker安装2.1卸载nvidia-docker及其它GPU容器1. docker volume ls -q -f driver=nvidia-docker | xargs -r -I{} -n1 docker ps -q -a -f volume={} | xargs -r docker rm -f2. sudo apt-get purge -y nvidia-docker2.2添加仓库..
2021-05-18 15:45:12
603
原创 docker tf-serving启动相关问题梳理
1.docker container启动（单个模型）sudo docker run --name tfs_ner \ -p 8500:8500 \ --mount type=bind,source=/mnt/NerAdapter/exported_model,target=/models/ner_model \ -e MODEL_NAME=ner_model -t tensorflow/servingNote：（1）mount中的ta
2021-04-26 09:19:31
716
原创 KBQA系列：Neo4j导入图谱数据bug1-py2neo.packages.neo4j.v1.exceptions.ProtocolError: Server closed connection
原代码是这样的：参考这个链接（https://stackoverflow.com/questions/43131325/py2neo-bolt-protocolerror-server-closed-connection）之后，改为如下（添加了两个参数secure=False、bolt=False）：原有问题即可解决...
2019-11-22 09:51:35
764
原创 未来已来，你是否已准备好？
如今AI浪潮席卷各个领域，让国内社会各界都随之发生转型。下面，根据Gartner（全球最具权威的信息化咨询研究机构）发布的《Hype Cycle for ICT in China, 2019》行业报告，来研究分析中国通信技术领域的发展趋势。本次Gartner报告中给出两张趋势图表：Hype Cycle（技术成熟度曲线）和Priority Matrix（优先矩阵），看懂这两张图表，报告中提到的2...
2019-10-09 17:38:15
383
原创 神经机器阅读理解-入门介绍篇
机器阅读理解（MachineReading Comprehension, MRC）任务主要是指让机器根据给定的文本回答与文本相关的问题，以此来衡量机器对自然语言的理解能力。这一任务的缘起可以追溯到 20 世纪 70 年代，但是受限于小规模数据集和基于规则的传统方法，机器阅读理解系统在当时并不能满足实际应用的需求。 这种局面在 2015 年发生了转变，主要归功于以下...
2019-09-25 16:53:03
340
原创 使用flask和keras部署深度学习模型bug解决之ValueError: Tensor Tensor("dense/Softmax:0", shape=(?, 3), dtype=float32)
在利用keras+flask构建一个简单的深度学习后台服务器，遇到了如下的问题：ValueError: Tensor Tensor("fc1000/Softmax:0", shape=(?, 1000), dtype=float32) is not an element of this graph。解决方案如下：在初始化的时候，加载模型文件和生成graph。示例代码如下：de...
2019-09-24 12:42:12
2656
原创 火狐浏览器-护眼模式设置
今天突然发给媳妇儿截图，媳妇儿问我那个护眼背景咋弄的，由于我用的谷歌，她用的火狐，于是花费了半小时摸索了一番，在这里记录下，万一以后她在用到我直接给她分享过去，避免挨打\(^o^)/~（在设置的过程中她的拳头已经蠢蠢欲动~~~）一、设置1.点右上角【菜单按钮】，再点击【附加插件】按钮2.然后搜索 stylish点击上图红框的应用插件进行安装3.进入管理样式4...
2019-08-09 16:32:43
7056
1
原创 论文中注意力机制可视化图的制作
推荐使用seaborn提供的热力图来制作。以下是个人经验：最近在使用注意力机制实现文本分类，我们需要观察每一个样本中，模型的重心放在哪里了，就是观察到权重最大的token。这时我们需要使用热力图进行可视化。我这里用到：seabornseaborn.heatmapseaborn.heatmap(data, vmin=None, vmax=None, cmap=None, cent...
2019-07-25 11:52:36
21077
3
原创 Windows安装Pytorch
这里只提示一点，pip可以安装Python2的Pytorch1.0的cpu版本，如果要安装gpu版本，请升级到Python3：方式1：使用pip获取whl文件安装Python2.7 cpu版本：pip install https://download.pytorch.org/whl/cpu/torch-1.0.0-cp27-cp27mu-linux_x86_64.whl pip i...
2019-06-11 09:16:07
1831
翻译 PyCharm 常用设置（主题、样式、字体、字号）
PyCharm 常用设置（主题、样式、字体、字号）点击菜单 File => Settings，打开 PyCharm 设置对话框点击 Appearance & Behavior => Appearance，设置 IDE 主题 （Theme），推荐 Darcula(如果 PyCharm 安装完成后，第一次启动时错过了设置，可以在这里做)...
2019-06-10 13:49:55
49520
9
原创 训练一个自然语言处理模型，并基于服务进行部署通信
好久没有更博啦，对于博客还挺想念的，O(∩_∩)O 最近在公司做算法收获也是很大，怀念码代码记录技术实现的路程点滴。感情上、工作上都遭遇了不少事情，幸运的是自己最终坚持了下来，并且未来可期！ 人呐，渐渐地上了年纪，总会念叨几句【捂脸】。话不多说，进入正题！一、整体架构 在公司做NLP相关项目，一直对于项目上线运行有疑惑，上线后模型是怎么被调用然后做预测...
2019-06-02 00:23:48
673
转载 python中安装ahocorasick库
转载至：https://blog.csdn.net/qq_35637447/article/details/86062697看了好几篇解决这类问题的方法，大部分是在http://www.lfd.uci.edu/~gohlke/pythonlibs/找到所需要下载的模块文件对应版本进行下载，但是并没有pyahocorasick。然后，我就想还是根据报错提示的链接地址，老老实实下Visual ...
2019-04-15 17:27:24
22547
21
原创 Keras中设置GPU使用
指定GPU并设置为按需增长："""GPU设置为按需增长"""import osimport tensorflow as tfimport keras.backend.tensorflow_backend as KTF# 指定第一块GPU可用os.environ["CUDA_VISIBLE_DEVICES"] = "0"config = tf.ConfigProto()confi...
2019-03-26 10:22:07
14354
1
原创 使用pip安装库：Error: [Errno 13] Permission denied: 'g:\\python\\python36\\Lib\\site-packages\\numpy\\
使用pip 更新某个库，出错信息如下所示：Error: [Errno 13] Permission denied: 'g:\\python\\python36\\Lib\\site-packages\\numpy\\这时候需要去关闭所有的python进程，包括pycharm以及任务管理器中的进程...
2019-03-22 19:05:29
3970
原创 python---在已有数据的文件中的第一行插入指定数据
定义如下函数即可(以csv文件为例)："""在csv文件中第一行添加索引字段"""def write_raw_index(file): filename = file with open(filename, 'r+', encoding='utf-8') as f: content = f.read() f.seek(0, 0) ...
2019-03-19 11:04:57
13464
3
原创 Win10下启动tensorflow程序加载显卡时间长
我是基于win10+tf1.12.0+cuda10配置的环境，但在第一次执行hello程序时加载资源很慢，去找了下资料，把步骤记载下来：(tf-gpu) C:\Users\don> conda install -c anaconda cudatoolkit(tf-gpu) C:\Users\don> conda install -c anaconda cudnn在anaco...
2019-03-07 15:43:50
2506
3
转载 MatlabR2016a安装及破解教程
链接地址：https://blog.csdn.net/qq_38386316/article/details/78302147
2019-03-04 18:11:06
661
原创 解决Windows10运行VMware Workstation出现与Device Guard不兼容导致无法运行与创建虚拟机问题
打开上述窗口一条命令搞定：bcdedit /set hypervisorlaunchtype off设置完需要重启机器！如果想重新开启bcdedit /set hypervisorlaunchtype auto
2019-03-01 13:38:45
1408
原创 中英文词向量资源合集
主要针对当前NLP领域表现较好的词向量模型进行一下整理，分为中文和英文领域。1.中文针对中文领域，不需要再去找什么资源，github上提供了中文NLP的一个利器，去里面下载即可。下载链接：https://github.com/Embedding/Chinese-Word-Vectors除此之外，由腾讯的AILab发布的词向量模型表现也很不错：https://ai.tencent...
2019-03-01 10:33:40
5858
1
原创 node2vec: Scalable Feature Learning for Networks论文解读
node2vec在DeepWalk的基础上，定义了一个bias random walk的策略生成序列，仍然用skip gram去训练。 论文分析了BFS和DFS两种游走方式，保留的网络结构信息是不一样的。 DeepWalk中根据边的权重进行随机游走，而node2vec加了一个权重调整参数α：t是上一个节点，v是最新节点，x是候选下一个节点。d(t,x)是t到候选节点的最小跳数。 通过不同的p...
2019-02-21 09:39:24
2196
原创 从国内镜像地址安装python库
（1）使用python内置的pip安装库：国内镜像地址：https://pypi.tuna.tsinghua.edu.cn/simple例如：安装 tensorflow可以使用如下命令pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple这样的话，安装速度飞起（2）基于anaconda安装库运行...
2019-02-16 16:55:06
5953
3
转载 NLP领域国内外知名会议和期刊
本文介绍自然语言处理(Natural Language Processing, NLP)领域的一些国内外著名会议和期刊。 自然语言处理(NLP)和计算语言学（Computational Linguistics, CL）有很多重合之处。国际会议ACL、EMNLP、NAACL 和 COLING 可以说是 NLP 领域的四大顶会。其中 ACL、EMNLP、NAACL都是一家的（均由 ACL 举办...
2019-01-28 16:42:47
19593
原创 Windows下安装基于python的接口哈工大语言技术平台pyltp
系统：Windows(64bit)python版本：python3.6.4pyltp版本：0.2.1初入实习生涯，偶然接触到了哈工大的ltp这个平台，不得不说，一深入了解感觉怎个厉害了得，之前大多是基于Stanford coreNLP进行NLP的基础技术实线以及依据jieba、中科院系统分词，但并没有一个专门针对中文的整套系统，看到ltp，哈哈哈，确认过眼神，你是我遇到的对的人^_^...
2019-01-23 14:06:29
461
原创 Tensorflow：基于LSTM生成藏头诗
模型生成首先我们要训练好模型。这里采用的是2层的LSTM框架，每层有128个隐藏层节点，batch_size设为64。训练数据来源于全唐诗。特别注意到的一点是这里每训练完一次就对训练数据做shuffle。 源代码如下：#!/usr/bin/python3#-*- coding: UTF-8 -*-import collections import numpy as np im...
2018-12-06 16:23:29
1021
1
原创 基于Seq2Seq的问答系统/聊天机器人
前几篇博客介绍了基于检索聊天机器人的实现、seq2seq的模型和代码，本篇博客将从头实现一个基于seq2seq的聊天机器人。这样，在强化学习和记忆模型出现之前的对话系统中的模型就差不多介绍完了。后续将着重介绍强化学习和记忆模型在对话系统中的应用。基于检索的聊天机器人的实现seq2seq模型详解tensorflow中的seq2seq的代码详解闲聊机器人在网上有很多有趣的小例子：c...
2018-12-03 14:03:41
6953
12
原创 使用Python调用Stanford CoreNLP进行分词
Stanford CoreNLP的源代码是使用Java写的，提供了Server方式进行交互。stanfordcorenlp是一个对Stanford CoreNLP进行了封装的Python工具包，GitHub地址https://github.com/Lynten/stanford-corenlp，使用非常方便。安装stanfordcorenlp包之前： 1：下载安装JDK 1.8及以上版本。 ...
2018-11-21 13:09:32
4213
6
原创 使用Java调用Stanford CoreNLP 进行中文分词
Stanford CoreNLP 进行中文分词中文分词的工具有很多，使用斯坦福的CoreNLP进行分词的教程网上也不少，本篇博客是记录自己在使用Stanford CoreNLP进行中文分词的学习笔记。1. 工具准备1.1 下载NLP相关包：网址： https://stanfordnlp.github.io/CoreNLP/index.html 需要下载的包看下图： 1.2 准备j...
2018-11-21 13:03:14
9283
4
原创 python 使用ElementTree解析xml文件
以country.xml为例,内容如下:<?xml version="1.0"?><data> <country name="Liechtenstein"> <rank updated="yes">2</rank> <year>2008
2018-11-07 15:10:36
1828
原创 Hadoop集群搭建一：Single node cluster
Hadoop集群搭建一：Single node cluster本文主要介绍在单个ubantu机器上搭建hadoop集群。1.ubuntu虚拟机安装采用Vmware workstation10工具来安装ubuntu系统，ubuntu使用的是64位的18.04-desktop版本，具体安装过程可自行Google，此处不再详细说明。给出资源下载链接：ubuntu-18.04-desk...
2018-10-28 21:23:27
608
1
原创 Ubantu首次登录设置root密码以及apt安装工具解决锁问题
1.给root 设置密码sudo passwd root [sudo] password for you ：—> 输入你的密码，不会显示Enter new UNIX password:— > 设置root 密码 Retype new UNIX password:2.解决: "E: 无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不...
2018-10-27 23:32:36
349
转载 如何查找NLP相关论文
如何检索自然语言处理领域相关论文前言针对自身的情况，发现个人查找论文的能力，看论文的能力有些薄弱。特此进行如果检索合适的论文写一个博客。 本文主要是摘自刘知远 老师的新浪博客和南京理工大学文本挖掘研究组博客综述要快速地熟悉一个领域，更加深刻地了解这该领域的发展，就必须查阅这个领域的相关论文。本文主要讲述自然语言处理领域（NLP）相关论文的检索。与其他领域一样，自然语言处理领域...
2018-10-15 18:36:59
4686
1
原创 windows下通过navicat for mysql连接centos6.3-64bit下的MySQL数据库
一、centos下MySQL安装按照命令依次安装以下文件：mysql-devel 开发用到的库以及包含文件mysql mysql 客户端mysql-server 数据库服务器yum install mysql-serveryum install mysql-develyum install mysql其中安装过程中会询问你是否要继续，直接输入y，然后按回车即可。二...
2018-10-11 17:10:33
437
原创 windows平台Pytorch安装与使用
Pytorch自0.4.0版本提供了windows系统平台的支持。安装简称参考https://zhuanlan.zhihu.com/p/26871672自官网介绍的命令进行安装，速度缓慢，可按照如下两种方式进行安装（已在之前安装tensorflow时配置好了cuda和cudnn）：方法一：pip安装Python3.6+pip安装cpu版本pip install http://...
2018-10-03 13:01:15
1702
原创 tensorflow GPU设置
tensorflow ConfigPrototf.ConfigProto一般用在创建session的时候。用来对session进行参数配置with tf.Session(config = tf.ConfigProto(...),...)#tf.ConfigProto()的参数log_device_placement=True : 是否打印设备分配日志allow_soft_pla...
2018-10-01 13:55:48
278
原创 Centos-更改/etc/profile导致ls等常用命令不可用
解决办法：执行export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bi然后使用：vi /etc/profile查看配置文件里面的配置信息，将错误之处改动过来，注意，一定不要忘了$PATH(大写，大写，大写！)最后执行source /etc/profileok，至此正常使...
2018-09-28 16:57:44
792
原创 VMware12.1 +Centos6.3(64位)+XShell6环境搭建
工具：VMware12.1+Centos6.3-64bit+XShell6使用以上工具来搭建hadoop集群，但在刚开始安装好cent虚拟机，意外发现ping不能使用，网络连接异常，故经过了一番倒腾，最终成功解决，将这踩坑路记载下来，以备查看。首先使用ifconfig命令查看网卡信息：ifconfig -a显示信息如下所示：之前红线标注的ip地址是不显示的，默认eth0网...
2018-09-25 23:36:18
326
原创 github上传文件涉及到的操作
一、解除GitHub上传文件大小限制上传项目到GitHub上，当某个文件大小超过100M时，就会上传失败，因为默认的限制了上传文件大小不能超过100M。如果需要上传超过100M的文件，就需要我们自己去修改配置。输入命令：git config http.postBuffer 524288000执行完以上语句后输入git config -l可以看到配置项的最下面多出了一行我们刚刚配置的内容...
2018-09-17 13:22:18
382
原创 Tensorflow之tf.split() 与 tf.squeeze()
split( value, num_or_size_splits, axis=0, num=None, name='split')输入： value： 输入的tensor num_or_size_splits: 如果是个整数n，就将输入的tensor分为n个子tensor。如果是个tensor T，就将输入的tensor分为len(T)个子ten...
2018-09-16 15:42:21
2141
原创 使用matplotlib在同一个窗口绘制多个图形
代码如下：import numpy as npimport matplotlib.pyplot as plt#创建自变量数组x= np.linspace(0,2*np.pi,500)#创建函数值数组y1 = np.sin(x)y2 = np.cos(x)y3 = np.sin(x*x)#创建图形plt.figure(1)'''意思是在一个2行2列共4个子图的图中，定...
2018-09-09 14:30:51
16639
1
原创 论文Multi-Perspective Sentence Similarity Modeling with Convolution Neural Networks实现之网络模型搭建及训练
环境：Python3.6Tensorflow-GPU 1.8.0本文所实现的网络模型是在https://blog.csdn.net/liuchonge/article/details/64440110的基础上搭建的，不同的是为了应对loss为NAN的情况，本文在每一层卷积的后面都添加了一层BN，且comU1只计算cosine距离和L1距离，comU2只计算cosine距离。基于此，...
2018-09-07 16:03:24
336
2
基于java图形界面的内存管理相关算法实现---动态内存分配&&页面置换
2017-10-14
基于java图形界面的磁盘调度算法实现---先来先服务&最短寻道&扫描算法
2017-10-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人