python NLTK、中文分词

http://blog.csdn.net/huyoo/article/details/12188573

http://www.zhihu.com/question/19842722

https://github.com/fxsjy/jieba

http://ictclas.org

ICTCLAS 汉语词性标注集

汉语文本词性标注标记集

Ag 形语素 形容词性语素。形容词代码为a，语素代码ｇ前面置以A。

a 形容词 取英语形容词adjective的第1个字母。

ad 副形词 直接作状语的形容词。形容词代码a和副词代码d并在一起。

an 名形词 具有名词功能的形容词。形容词代码a和名词代码n并在一起。

b 区别词 取汉字“别”的声母。

c 连词 取英语连词conjunction的第1个字母。

Dg 副语素 副词性语素。副词代码为d，语素代码ｇ前面置以D。

d 副词 取adverb的第2个字母，