python 中自然语言处理（中文）——统计词频

今天做统计词频，看了python自然语言处理的那本书。结果是外语的很多 和中文不一样，只能自己来了。

下面是截取的一部分语料

>>> text='NLP,Hadoop,NoSQL,数据分析,IT,数据库,大数据,美食,羽毛球,排球,旅游,Hadoop,实时计算,数据仓库,云计算,分布式,数据库,Hadoop,数据分析,R,mahout,机器学习,安吉白茶,海南黄花梨,Java,DOTA,Hadoop,数据平台,网站运维,电子商务,构架,数据库,hadoop,数据挖掘,机器学习,科技,IT数码,Hadoop,团购排序,数据挖掘,个性化推荐,推荐系统,机器学习,搜索引擎,HANA,数据分析,大数据,Sybase,数据仓库,数据库,SAP,CEP,Hbase,Hadoop,数据挖掘,个性化推荐,JVM,HBase,天蝎座,社会计算,垂直搜索,IR,hadoop,solr,Lucene,HITSCIR,社会计算,信息检'
>>> len(text)
486

>>> text=text.split(',')
>>> len(text)
68

不过可以使用 set（）函数出重。

>>> v=set(text)
>>> len(v)
49
>>> for i in v:
 print i

原来是68个，出重之后只剩下49个。

python的简单与伟大之处。

接下来就可以建词典，for循环，统计词频啦