使用斯坦福分词器进行词性标注

使用斯坦福分词器进行词性标注

---

---

前言

中文分词是中文文本处理的一个基础步骤，同时也是中文人机自然语言交互的基础模块，与英文不同的是，中文句子中没有词的界限，因此在进行中文自然语言处理时，通常需要先进行分词，分词效果将直接影响词性，句法树等模块的效果场景不同，要求也不同。在人机自然语言交互中，成熟的中文分词算法能够达到更好的自然语言处理效果，帮助计算机理解复杂的中文语言。基于统计的机器学习算法stanford，基本思路是对汉字进行标注训练，不仅考虑了词语出现的频率，还考虑上下文，具备良好的学习能力，因此对歧义词和未登录词的识别都具有良好的效果。

一、斯坦福分词器是什么？

Stanford CoreNLP是一个自然语言处理工具包。它集成了很多非常实用的功能，包括分词，词性标注，句法分析等等。这不是一个深度学习框架，而是一个已经训练好的模型，实际上可以类比为一个软件。目前市面上有不少类似的工具，结巴分词、清华、哈工大等等，相比之下我个人认为斯坦福这一款有三个值得选择的理由（也可能是优势，但是我没用过其他工具所以没法比）：功能足够多，一站式解决所有主流需求；操作足够方便，放到 Python 里基本上就是一两行代码；
语言支持广泛，目前支持阿拉伯语，中文，英文，法语，德语，西班牙语，做平行语料的对比非常方便。Stanford CoreNLP 本身是 Java 写的，提供了 Server 的方式进行交互，可以很方便地在Python 中使用。使用极少的代码就能实现我们想要的功能。

二、使用步骤

1.去官网下载工具包

包括核心包和中文分包两种，下载完成后，将中文包解压缩到核心包中，形成一个完整的包，方便我们去调用。核心部分已经包括了英语的处理能力，因为我们要处理的内容包括中文，所以还要下载与中文相关的程序包下载成功后，导引根目录即我们下载的核心包中即可完成工具包中相应的操作。

这就是弄完之后的图，形成一个总包，安装成功的工具包中就可以通过python直接调用了，其中要注意的是中文包和我们下载的核心包的版本要对应。要注意的是文件夹不能含有中文，否则会读入不进去。

2.导入库