自然语言处理开源工具

NLTK

• NLTK(Natural Language Toolkit)是由宾夕法尼亚大学计算机和信息科学系使用Python语言实现的一种自然语言工具包
• 特点：运行速度慢，占用内存多，精度较高
• 安装方式：pip install nltk
• 官方网站：nltk.org

HanLP

• Han Language Processing,Github上用户量最多的开源汉语自然语言处理工具
• Java语言开源，实现了Python接口pyhanlp
• 特点：使用简单、运行速度快、占用内存少、精度较准
• Python安装方式：pip install pyhanlp
• 可实现中文分词、词性标注、命名实体识别、自动摘要、文本分类与聚类等任务
• 官方文档：github.com/hankcs/pyhanlp

spaCy

• 编写语言：Python和Cython
• 速度快，适合实际工业级开发，支持深度学习的预处理
• 安装方式：pip install spacy
• 可实现分词、词性标注、依存句法分析、命名实体识别、文本分类等任务
• 官方网站：spacy.io

Stanford CoreNLP

• Stanford NLP Group基于他们的科研工作开发的一套集成多种工具的NLP工具集
• 编写语言：Java
• 各种工具组成一个PipeLine,高效地逐个分析文本
• 集成工具包括：词性标注、命名实体识别、句法分析、指代消解、情感分析和开放关系抽取等
• Python版本安装方式：pip install stanfordnlp
• 官方网站：stanfordnlp.github.io/CoreNLP/

哈工大LTP

• 哈尔滨工业大学研发的语言技术平台（Language Technology Plantform,LTP)
• 可以完成分词、词性标注、命名实体识别、依存句法分析、语音依存等任务
• 可以生成模型工具以及调用模型分析的编程接口，使用流水线将分析工具结合形成完整的中文NLP系统
• Python版本安装方式：pip install ltp
• 官方网站：ltp.ai