自然语言处理
Valuebai
我是思想的主人!
展开
-
极简bert-as-service使用与部署,以bert+sklearn实现两个词的相似度
# bert-as-service的安装&部署1. 安装 python 3 环境2. 部署自然语言模型2.1 下载模型压缩包2.2 解压压缩包2.3 安装 python 依赖包2.4 启动模型2.5 windows启动模型脚本linux启动bert-as-servinglinux启动模型脚本# bert+sklearn实现两个词的相似度原创 2020-03-17 17:06:08 · 2386 阅读 · 1 评论 -
Pandas-常用命令行-速查
Pandas-常用命令行-速查在做python数据分析、NLP自然语言处理的数据清洗,常常需要使用pandas、numpy对加载的数据进行处理,本文翻译了国外的panda命令行清单总结,记录下。主要包括:pandas导入/导出数据、创建测试对象、 查看数据、数据选择、数据清洗、过滤,排序和分组、数据连接、数学统计翻译 2019-11-15 15:34:06 · 888 阅读 · 0 评论 -
教你用维基百科语料库+opencc+jieba+gensim训练一个word2vec模型
本篇文章主要介绍如何通过使用中文维基百科语料库+opencc+jieba+gensim训练一个word2vec模型。## word2vec模型的使用训练完成之后,我们可以利用训练好的模型来做一些词的预测,主要包括三个方面的应用。1、找出与指定词相似的词返回的结果是一个列表,列表中包含了制定个数的元组,每个元组的键是词,值这个词语指定词的相似度。 2、计算两个词的相似度3、根据前三个词来类比并用wordcloud词云显示结果原创 2019-08-05 15:00:47 · 2346 阅读 · 2 评论 -
NLP主题模型:LDA 隐含狄利克雷分布,用Python+sklearn实现
本文主要结合python+LDA+sklearn 来实现,内容通俗易懂~~简而言之,LDA主题模型: 它是一种统计模型,用于标记出现在文档集合中的抽象“主题”,这些主题最能代表这个文档集合中的信息。获取主题模型使用了许多技术,如:Latent Semantic Analysis (LSA/LSI), Probabilistic Latent Semantic Analysis (pLSA), and Latent Dirichlet Allocation (LDA)。gensim翻译 2019-10-21 17:42:38 · 3869 阅读 · 1 评论