- 博客(13)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 基于gensim的lda实践2
import pandas as pdimport jiebafrom gensim.test.utils import common_textsfrom gensim.corpora.dictionary import Dictionaryfrom gensim.models.ldamodel import LdaModeldef jieba_add_words(): """...
2020-01-19 14:50:28
263
1
原创 docker从镜像启动容器, 从容器制作镜像
docker run -d --name=entity -m 32G -p $port:$port -v $dirpath:/workdir $img_name:$tag python /workdir/run_server.pydocker run -it --runtime=nvidia -e NVIDIA_VISIBLE_DEVICES=1 需要启动的docker名称 bashdo...
2020-01-16 16:43:16
892
原创 基于官方的tensorflow镜像来打镜像
Dockerfile:# FROM python:3.6# 基于的基础镜像# FROM tensorflow/tensorflow:latest-devel-gpu-py3# 1.12.0-gpu-py3 是基于python3.5.2的版本：FROM tensorflow/tensorflow:1.12.0-gpu-py3 #创建workdir文件夹RUN mkdir /work...
2020-01-16 16:02:28
1149
原创 linux查看端口占用情况
查看占用端口的进程：netstat -apn|grep <端口号>netstat -apn|grep 6606tcp 0 0 10.65.42.27:6606 172.22.142.20:62771 ESTABLISHED 9435/lighttpd杀掉该进程：kill -9 <pid>kil...
2020-01-15 20:32:08
148
原创 docker部署服务注意端口设置
在已有的容器中启动了一个etornado服务。先查看该容器暴露的端口：$ docker ps|grep gpu40f7eeff4f0f4 hub.ifchange.com/nlp/gpu4:20190917 "bash" 3 months ago Up 2 weeks ...
2020-01-14 16:23:28
897
原创 基于tornado的http服务框架
etornado地址：https://pypi.org/project/etornado/0.0.3/#historyetornado是tornado的进一步封装，使用起来更加方便。安装etornado 0.1.6版本，该版本基于python 3.6，所以：先用conda创建py36环境: conda create --name py36 python=3.6激活该环境：conda act...
2020-01-14 15:33:00
226
原创 pip默认镜像地址
pip默认镜像地址:https://pypi.org/simple# etornado=0.1.6 是基于python3.6的，其余都是基于3.7# etornado地址：https://pypi.org/project/etornado/0.0.3/#historypip install -i https://pypi.org/simple etornado=0.1.6 ...
2020-01-14 15:17:19
770
原创 git clone报错could not create work tree dir 'project_recognize'.: Permission denied
git clone报错：Permission denied$ git clone https://gitlab.ifchange.com/nb4/project_recognize.gitfatal: could not create work tree dir 'project_recognize'.: Permission denied因为当前的这个目录deploy是在docker中由...
2020-01-13 19:32:33
6466
原创 bilstm-crf
model.pyimport numpy as npimport os, time, sysimport tensorflow as tffrom tensorflow.contrib.rnn import LSTMCellfrom tensorflow.contrib.crf import crf_log_likelihoodfrom tensorflow.contrib.crf i...
2020-01-13 15:33:44
382
原创 根据词表获得预训练的字向量
根据词表获得预训练的字向量:import pickleimport tqdmimport numpy as npfrom nlutools import tools as nludef gene_embedding(): vocab_path = "./word2id.pkl" with open(vocab_path, 'rb') as f: word...
2020-01-13 15:31:30
377
原创 gensim加载bin格式的词向量模型
filepath = "/opt/wwwroot/atom_guoyanan/data/vector2.0/fasttext.bin"model = gensim.models.fasttext.load_facebook_vectors(filepath)print(model['核'])[ 0.1335077 0.9915103 0.28807437 0.7358422 ...
2020-01-13 15:18:17
1492
原创 tensorflow保存模型和导入模型
基于tf 1.12.0版本保存模型：import tensorflow as tf import numpy as np## 保存模型W = tf.Variable([[1,2,3],[1,2,3]],dtype=tf.float32, name="weights")b = tf.Variable([[1,1,1]], dtype=tf.float32, name="biases")...
2020-01-13 11:13:27
173
原创 实体链接
假设已经从一段文本中找到了实体序列，接下来要将序列链接到某一实体。链接策略：计算序列和每个实体的tf-similarity，召回阈值大于0.5的实体（及别名）计算序列和实体的余弦相似度：0.5*simi(序列，实体) + 0.5*top_simi(序列，别名s)以上得分top1就是序列最终链接到的实体code：import logging, osfrom tqdm import ...
2020-01-06 17:38:54
445
Python for Data Analysis, 2nd Edition
2018-04-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人