轻量级中文自然语言处理工具

功能概览

• 中文简体词法分析 (RoBERTa + CRF finetune)
  • 分词
  • 词性标注
  • 命名体识别
• 中文拼写检查 (Detector + Corrector SpellCheck)
• 文本摘要 & 关键词提取 (Textrank)
• 情感分析 (RoBERTa finetune)
• 文本转拼音 (Trie)
• 汉字偏旁部首 (HashMap)

Outline

• 一. 安装
  • 安装库
  • 下载模型
• 二. 使用文档
  • 分词：seg
  • 并行分词：seg_parallel
  • 词性标注：tag
  • 并行词性标注：tag_parallel
  • 命名体识别：ner
  • 并行命名体识别：ner_parallel
  • 关键词提取：keyword
  • 并行关键词提取：keyword_parallel
  • 关键语句提取：keyphrase
  • 并行关键语句提取：keyphrase_parallel
  • 情感识别：sentiment
  • 并行情感识别：sentiment_parallel
  • 拼音提取：pinyin
  • 并行拼音提取：pinyin_parallel
  • 部首提取：radical
  • 并行部首提取：radical_parallel
  • 文本纠错：checker
  • 并行文本纠错：checker_parallel

一. 安装

1. 安装库

安装最新版 xmnlp
pip install xmnlp

安装flake8
Flake8——Python静态代码检查工具
Flake8 是由Python官方发布的一款辅助检测Python代码是否规范的工具，相对于目前热度比较高的Pylint来说，Flake8检查规则灵活，支持集成额外插件，扩展性强。Flake8是对下面三个工具的封装：

 PyFlakes：静态检查Python代码逻辑错误的工具。

 Pep8： 静态检查PEP8编码风格的工具。

 NedBatchelder’s McCabe script：静态分析Python代码复杂度的工具。

不光对以上三个工具的封装，Flake8还提供了扩展的开发接口。