使用Spark框架中文分词统计

  • 技术
    Spark+中文分词
  • 算法
    对爬取的网站文章的关键词进行统计,是进行主题分类,判断相似性的一个基础步骤。例如,一篇文章大量出现“风景”和“酒店”之类的词语,那么这篇文章归类为“旅游”类的概率就比较大。而在关于“美食”的文章中,“餐厅”和“美味”等词语出现的频率一般也会比较大。
    分词使用语言云http://www.ltp-cloud.com实现对一段中文先进行分词,然后通过Spark streaming 对分词后的内容进行词频统计。
  • 通过ltp-cloud进行中文分词
    目前国内有不少科研机构开发了中文分词系统,例如中科院、哈工大、科大讯飞等,本次体验的是哈工大的语言云。

  • Rest API调用,
    例如(YourAPIKey替换成你的APIKey):

curl -i"http://api.ltp-cloud.com/analysis/?api_key=YourAPIKey&text=认知商业需要认知技术&pattern=ws&format=plain"
HTTP/1.1 200 OK
Server: nginx
Date: Tue, 22Mar 2016 14:18:39 GMT
Content-Type:text/plain;charset=utf-8
Transfer-Encoding:chunked
Connection:keep-alive
X-Powered-By-360WZB:wangzhan.360.cn
Vary:Accept-Encoding
  • Spark Streaming进行词频统计
    Spark Streaming是基于Spark平台上提供的流计算引擎,可以处理多种数据来源的流数据,并进行统计分析。在Spark Streaming的sample程序中,就提供了从MQTT,Kafka,Network socket等来源读取数据的word count。本次测试NetworkWordCount,即SparkStreaming从TCPIP Socket读取数据,然后对内容进行词频统计。
// 创建Streaming上下文,使用2个线程,流处理时间窗口1秒
valconf=newSparkConf.setMaster("local[2]").setAppName("NetworkWordCount")valssc=newStreamingContext(conf,Seconds(1))
// 创建监听9999端口的流
vallines=ssc.socketTextStream("localhost",9999)
// 将行拆分成单词
valwords=lines.flatMap(_.split(" "))
// 统计词频
valpairs=words.map(word=>(word,1))valwordCounts=pairs.reduceByKey(_+_)
// 打印统计结果
wordCounts.print
// 启动流,开始计算
ssc.start 
ssc.awaitTermination 
  1. 运行程序
    cd $SPARK_HOME目录,
    输入:
    ./bin/run-example streaming.NetworkWordCount llhost 9999

    Spark会启动一个Spark Streaming的WordCount范例程序,在9999端口监听,并进行词频统计。然后,通过另外一个脚本,用curl调用哈工大语言云进行分词,并通过linux命令nc将结果写入端口9999的socket:
    curl-i “http://api.ltp-cloud.com/analysis/?api_key=YourAPIKey&text=认知商业需要认知技术&pattern=ws&format=plain”|nc -lk 9999
  2. 总结
    因为其中频度最高的词汇就是“**”。当然,真正应用中需要结合权重算法,将一些常用词如“的”,“然后”,“因此”之类的词汇排除。哈工大语言云服务和SparkStreaming构建了一个简单的实时中文词频统计框架,下一步可以考虑结合爬虫获取实时新闻,然后通过上述框架进行中文分词和词频统计,并判断新闻的热点关键字。也可以构建基于关键字的权重向量,再调用聚类模型对新闻进行实时主题分类。可以使用Nutch这个高大上的东西,使用deploy模式将爬取的内容存储在HDFS中。
  3. Nutch

    这里写图片描述
    Nutch搭建其实很简单,可以选用2.x版本,可以用deploy模式或者local模式都是可以的,当然最好是用deploy模式,执行nutch脚本,注意你可以使用索引,加上solr,当爬取内容需要做搜索管理时,索引是必须的。

  4. 下步想法
    可以使用spring mvc解决平台显示,后台提供分词统计的结果。

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/youdianjinjin/article/details/50983185
个人分类: 大数据框架
所属专栏: spark/hadoop学习
上一篇编程技巧
下一篇Hash分析
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭