使用 LTP的Python包——pyltp 进行中文分词

哈工大语言技术平台LTP(Language Technology Platform)提供了一系列中文自然语言处理工具，用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。LTP本身是基于C++开发的，不过官方也提供了Python的封装包--pyltp

win10 +python3.6

【1】安装LTP的Python扩展包--pyltp

参考网址：点击打开链接

注：pip 安装可能报错：error: command 'F:\\Program Files (x86)\\Microsoft Visual Studio\\2017\\Communit

y\\VC\\Tools\\MSVC\\14.12.25827\\bin\\HostX86\\x64\\cl.exe' failed with exit status 2

解决：点击打开链接

【2】部署语言模型库

下载完整的 LTP 模型文件： 下载地址

【3】基本使用

见关于pyltp的官方使用文档

import pyltp
import os
model_path="D:\\ltp 3.4.0\\cws.model"
from pyltp import Segmentor
segmentor=Segmentor()
segmentor.load(model_path)
words=segmentor.segment("沈巍的手冰凉冰凉的，像刚从冰柜里捞出来的尸体，赵云澜一碰就一愣，忍不住抬头看了对方一眼，"
                        "这一来，正好对上沈巍镜片后的目光。虽然沈巍迅速地移开了目光，可赵云澜就是觉得，沈巍看他的眼神似乎有点奇怪……"
                        "不知道该如何形容，总之那并不是看一个陌生人的目光。")

结果如下：

一碰，一愣，一眼，一来不应分开？