分词工具实验(代码示例)

1. 哈工大语言云(python)
功能和形式都很多样化，准确率也很高，但依赖网络，识别速度慢。庆幸的是还有哈工大分词有本地版本，效果相同，但是没有语言云的格式多样。以下是语言云版本。

# -*- coding: utf-8 -*-

"""
功能：哈工大语言云使用测试
时间：2017年11月14日
"""

import urllib2

url_get_base = "http://api.ltp-cloud.com/analysis/?"
api_key = '# 输入注册API_KEY'

# 待分析的文本
text = "这是一个测试文本"

format0 = 'json'                                       # 结果格式，有xml、json、conll、plain（不可改成大写）
pattern = 'dp'                                        # 指定分析模式，有ws、pos、ner、dp、sdp、srl和all

result = urllib2.urlopen("%sapi_key=%s&text=%s&format=%s&pattern=%s"
                         % (url_get_base, api_key, text, format0, pattern))
content = result.read().strip()
print content

2. python自带工具包pynlpir
简单方便， 在计算所的ictclas基础上开发，分词准确率高

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import pynlpir

pynlpir.open()

s = '我家在贵州'
m = pynlpir.segment(s,pos_names='child')

for word in m:
    print word[0]
    print word[1]

pynlpir.close()