xmnlp — 轻量级中文自然语言处理工具

最新推荐文章于 2024-09-23 19:34:30 发布
最新推荐文章于 2024-09-23 19:34:30 发布
阅读量4k 收藏 5
点赞数
分类专栏： 自然语言处理 文章标签： 自然语言处理 NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37687051/article/details/79329728
版权
xmnlp是一个轻量级的Python中文自然语言处理工具，包括分词、词性标注、文本纠错、文本摘要、关键词提取和情感分析等功能。它采用动态规划和HMM进行分词，利用bi-gram和levenshtein进行文本纠错，使用textrank进行文本摘要和关键词提取，并基于naive bayes进行情感分析。相比于其他大型NLP库，xmnlp设计简洁，适合快速处理任务。
摘要由CSDN通过智能技术生成


python下NLP工具有很多 jieba, nltk, ltp 等， 虽然他们很强大，但是提供的功能比较分散，而且通常模型比较大。为了方便平时的处理工作，我尝试找了一些集成工具包，发现snownlp还可以，它的分词是基于TnT的，总得来说分词效果逊色于基于词典的分词（比如jieba）。所以决定自己写一个包xmnlp，主打轻量快捷。

功能

  1. 中文分词 & 词性标注： 基于词典构建DAG图，然后采用动态规划的思想求得最大概率路径（jieba分词采用了反向输出，我采用了正向加权反向输出的方式，使得正反向共同影响分词效果），对于未登录词采用HMM+Viterbi处理

  2. 文本纠错：采用了bi-gram + levenshtein实现

  3. 文本摘要 & 关键词提取：textrank

  4. 情感分析：naive bayes

  5. 文本转拼音：Trie 树检索

以下展示xmnlp的功能效果，不同模块的原理之后的文章会补上。

分词&词性标注

[ In ] 

自然语言处

最低0.47元/天 解锁文章
seanlee97
关注
专栏目录
自然语言处理与文本相似度算法计算
06-01 357
文章目录工具类概述simhash算法simhash库数据集数据清洗计算simhash值余弦距离数据集数据清洗计算余弦距离参考文献 工具类 jieba snownlp：分词、词性标注、情感分析、文本分析、转化拼音、繁体字转简体字、提取文本关键词、提取文本的摘要、tf、idf、句子分割、文本相似度、 xmnlp：今日头条团队的、轻量级的NLP deepnlp 概述 每年毕业季，各位学子都会使用一个...
自然语言处理的数据清洗和相似度算法实现
06-18 513
文章目录工具类概述simhash算法simhash库数据集数据清洗计算simhash值余弦距离数据集数据清洗计算余弦距离参考文献 工具类 jieba snownlp：分词、词性标注、情感分析、文本分析、转化拼音、繁体字转简体字、提取文本关键词、提取文本的摘要、tf、idf、句子分割、文本相似度、 xmnlp：今日头条团队的、轻量级的NLP deepnlp 概述 每年毕业季，各位学子都会使用一个...
xmnlp：小明NLP：提供中文分词，词性标注，拼写检查，文本转拼音，情感分析，文本摘要，偏旁部首
02-03
/ xmnlp / 小明NLP —轻量级中文自然语言处理工具 轻量级中文自然语言处理工具包 v 0.2.3 RIP 0.2.3版是xmnlp最后一个兼容Python 2.7的版本 功能概览 中文分词和词性标注 支持繁体 支持自定义词典 中文拼写检查 文本摘要＆关键词提取 情感分析 文本转拼音 获取汉字偏旁部首 安装使用 安装方式 方式一 pip install xmnlp 方式二 git clone https://github.com/SeanLee97/xmnlp.git cd /path/to/xmnlp pip install -r requirements.txt python setup.py install 使用文档 中文分词 xmnlp.seg(text[, hmm=True]) - text: 输入文本 - hmm: 是否使用 hmm 算法识别新词 import xmnlp doc = """小明 NLP 是一款开源的轻量级中文自然语言处理工具:wrench:，当前版本发布时间为2019年9月，改版本修复了一些 bug 也增加了一些特性，主要新增特性如下：分词/词性
xmnlp,轻量级中文NLP工具包
weixin_33851177的博客
03-08 540
为了方便工作学习，于是乎借鉴了一些项目并结合自己想法用 python 写了个 nlp 工具包 — xmnlp 小明NLP目前支持的功能 中文分词，词性标注 文本纠错 情感分析 文本转拼音 主要算法 中文分词，词性标注： DAG HMM + Viterbi新词发现 文本纠错： bi-gram + levenshtein 更多请关注Github项目：xmnlp 转载于:https://...
NLP自然语言处理
最新发布
m0_68153457的博客
09-23 1647
NLP就是人与机器沟通的“桥梁”。
XMNLP 开源项目使用教程
gitblog_01114的博客
08-15 438
XMNLP 开源项目使用教程 xmnlpxmnlp：提供中文分词, 词性标注, 命名体识别，情感分析，文本纠错，文本转拼音，文本摘要，偏旁部首，句子表征及文本相似度计算等功能项目地址:https://gitcode.com/gh_mirrors/xm/xmnlp 1. 项目的目录结构及介绍 XMNLP 项目的目录结构如下： xmnlp/ ├── docs/ ├── tests/ ├── xmnl...
XMNLP 中文自然语言处理工具包教程
gitblog_00707的博客
08-13 323
XMNLP 中文自然语言处理工具包教程 xmnlpxmnlp：提供中文分词, 词性标注, 命名体识别，情感分析，文本纠错，文本转拼音，文本摘要，偏旁部首，句子表征及文本相似度计算等功能项目地址:https://gitcode.com/gh_mirrors/xm/xmnlp 项目介绍 XMNLP 是一款开箱即用的轻量级中文自然语言处理工具包，提供了包括中文分词、词性标注、命名体识别、情感分析、文本...
自然语言处理 - 01
qq_24833677的博客
10-17 306
自然语言处理 - 01自然语言处理（Natural language processing, NLP）是AI的主要内容之一，主要以计算机为工具，解决人机交互中的语言问题。 主要涉及输入法、文本分类、信息检索、信息抽取、问答系统、机器翻译、自动摘要、语音合成、语音识别、词性标注、句法分析、自动分词、文字校对等。自然语言生成系统把计算机数据转化为自然语言。 自然语言理解系统把自然语言转化为计算机程序更
自然语言处理-错字识别（基于Python）kenlm、pycorrector
热门推荐
IT届的小学生
11-15 1万+
中文文本纠错划分 中文文本纠错任务，常见错误类型包括： 谐音字词，如 配副眼睛-配副眼镜 混淆音字词，如 流浪织女-牛郎织女 字词顺序颠倒，如 伍迪艾伦-艾伦伍迪 字词补全，如爱有天意-假如爱有天意 形似字错误，如 高梁-高粱 中文拼音全拼，如 xingfu-幸福 中文拼音缩写，如 sz-深圳 语法错误，如想象难以-难以想象 当然，针对不同业务场景，这些问题并不一定全部存在，比如输入法中需要处...
中文文字校对和文档对比合并开源工具调研
buglesxu的博客
06-13 4272
中文文字校对和文档对比合并开源工具调研 针对中文文字错别字校对和word，ppt等文档对比合并需求，调研现存的一些开源工具。 一. 中文文字纠错： pycorrector （开源 python3.6） 中文文本纠错工具。 音似、形似错字（或变体字）纠正，可用于中文拼音、笔画输入法的错误纠正。依据语言模型检测错别字位置，通过拼音音似特征、笔画五笔编辑距离特征及语言模型困惑度特征纠正错别字。 语言模型： Kenlm（统计语言模型工具） RNNLM（TensorFlow、PaddlePaddle均有实现栈式双
NLP自然语言处理工具小结
kyle1314608的博客
02-08 791
用途 HarvestText是一个专注无（弱）监督方法，能够整合领域知识（如类型，别名）对特定领域文本进行简单高效地处理和分析的库。适用于许多文本预处理和初步探索性分析任务，在小说分析，网络文本，专业文献等领域都有潜在应用价值。 使用案例: 【注：本库仅完成实体分词和情感分析，可视化使用matplotlib】 近代史纲要信息抽取及问答系统(命名实体识别，依存句法分析，简易问答系统) 本README包含各个功能的典型例子，部分函数的详细用法可在文档中找到： 文档 具体功能如下： 目录: 基本处理 本库主要
基于深度学习的中文自然语言处理工具FudanDNN-NLP2.0
03-04
本工具为复旦大学计算机学院机器人研究实验室开发的基于深度学习的中文自然语言处理工具FudanDNN-NLP2.0，该工具可用于中文分词、自定义词汇、文本规范化、命名识别、词性标注、语义分析，用户可以根据需要重新训练或者精调模型。深度学习方法的优点在于不需要预先根据任务进行特征选择（特征工程），系统所需参数较少（节省内存开销），并且解码速度（实际使用）远远快于其它相似性能的系统。
小明NLP —— 轻量级中文自然语言处理工具-python
06-18
A Lightweight Chinese Natural Language Processing Toolkit，提供中文分词, 中文词性标注, 文本纠错，文本转拼音，情感分析...
NLP小白入门——超全中文文本分类系统（含训练及测试数据集）
04-08
NLP小白入门——超全中文文本分类系统（train set & test set + stop word*4 + word2vec + TF-IDF + Naive Bayes）
关键词提取方法.py
05-20
自然语言处理，关键词提取，机器学习，人工智能，深度学习
探索高效中文自然语言处理： SeanLee97/xmnlp
gitblog_00092的博客
03-26 443
探索高效中文自然语言处理： SeanLee97/xmnlp xmnlpxmnlp：提供中文分词, 词性标注, 命名体识别，情感分析，文本纠错，文本转拼音，文本摘要，偏旁部首，句子表征及文本相似度计算等功能项目地址:https://gitcode.com/gh_mirrors/xm/xmnlp 项目简介 是一个由 SeanLee97 开发的高性能、轻量级的 Python 库，专注于中文自然语言处理...
自然语言处理NLP简介
鬼斩
03-19 2012
自然语言处理（Natural Language Processing，NLP）是一门涉及计算机科学、人工智能和语言学等多个领域的交叉学科，旨在使计算机能够理解、解释、操纵和生成人类语言。自然语言处理的基本原理涉及多个方面，包括自然语言的理解和生成、语言模型、词法分析、句法分析、语义分析、语音识别、文本分类、信息检索等。在本章节中，我们将重点介绍自然语言处理的基本原理。
自然语言生成介绍
weixin_38858749的博客
12-28 4243
每当我们听到“AI”一词时，我们的第一个想法通常是电影中的未来机器人，如终结者和黑客帝国。尽管我们距离可以自己思考的机器人还有几年的时间，但在过去几年中，机器学习和自然语言理解领域已经取得了重大进展。 个人助理（Siri / Alexa），聊天机器人和问答机器人a等应用程序真正彻底改变了我们与机器和开展日常生活的方式。自然语言理解（NLU）和自然语言生成（NLG）是人工智能发展最快的应用之一，因为人们越来越需要理解和从语言中获得意义，其中含有大量含糊不清的结构。 根据Gartner的说法，“到2019年..
第01课：中文自然语言处理的完整流程
dongdouzin的博客
06-26 1万+
第一步：获取语料语料，即语言材料。语料是语言学研究的内容。语料是构成语料库的基本单元。所以，人们简单地用文本作为替代，并把文本中的上下文关系作为现实世界中语言的上下文关系的替代品。我们把一个文本集合称为语料库（Corpus），当有几个这样的文本集合的时候，我们称之为语料库集合(Corpora)。（定义来源：百度百科）按语料来源，我们将语料分为以下两种：1.已有语料很多业务部门、公司等组织随着业务发...
python自然语言处理---NLP基础技能
yyq675886993的博客
07-09 413
#去空格及特殊字符 s=' hello,world!' print(s.strip()) print(s.lstrip(' hello,')) print(s.rstrip('!'))#查找字符 sstr1='strchr' sstr2='r' npos=sstr1.index(sstr2) print(npos)#字符串大小写转换 sstr1='JSDvfgfgfd' sstr1=sstr1.
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值