中文分词实践(基于R语言)

    背景:分析用户在世界杯期间讨论最多的话题。

    思路:把用户关于世界杯的帖子拉下来,然后做中文分词+词频统计,最后将统计结果简单做个标签云,效果如下:

    

    后续:中文分词是中文信息处理的基础,分词之后,其实还有特别多有趣的文本挖掘工作可以做,也是个知识发现的过程,以后有机会再学习下。

==================================================

* 中文分词常用实现:

单机:R语言+Rwordseg分词包 (建议数据量<1G)
分布式:Hadoop+Smallseg库
词库:Sougou词库,Sougou输入法官网可下载
这里只先介绍单机的实现:
1、R语言:专门用于统计分析、绘图的语言
2、Rwordseg分词包:引用了@ansj开发的ansj中文分词工具,基于中科院的ictclas中文分词算法,无论是准确度还是运行效率都超过了rmmseg4j。

* 环境准备 (Windows或Linux版本都行):

R下载:http://mirrors.ustc.edu.cn/CRAN/
Rwordseg包下载:https://r-forge.r-project.org/R/?group_id=1054
rJava包下载:http://cran.r-project.org/web/packages/rJava/index.html
Rwordseg和rJava这些包解压后放到\R\R-3.1.0\library即可 

* R语言实现代码

  1. # 加载rJava、Rwordseg库  
  2. library(rJava);  
  3. library(Rwordseg);  
  4.   
  • 2
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值