Hadoop 上运行基于中文分词算法的 MapReduce 程序,进行词频分析。

本文介绍了如何在Hadoop上使用Streaming模式运行Python MapReduce程序,结合jieba中文分词工具,对小说《天龙八部》进行词频分析。Mapper阶段对文本进行分词并输出(word, 1)对,Reducer阶段则对词频进行叠加,最终得出词频结果。在执行过程中遇到了文件找不到的问题。" 8859694,885209,COCOS2DX-LUA Android黑屏问题:自定义CPP类绑定LuaCocos2d解决,"['Cocos2d-X', '游戏开发', '移动开发', 'Lua脚本', 'Android开发']
摘要由CSDN通过智能技术生成

首先安装分析工作

sudo pip install jieba -i http://pypi.doubanio.com/simple/

 需求:求一本小说里面出现次数最多得人名

呆萌(demo)的代码将基于 Hadoop 的 Streaming 工作模式实现,Streaming 模式下 Hadoop 可以使用非 Java 编写的 MapReduce 程序。

数据:小说《天龙八部》

首先我们实现 Mapper 程序,Mapper 程序的作用就是:

  1. 从 stdin 标准输入中依次读取每一行。
  2. 对每一行使用 jieba 分词进行分词。
  3. 对分词得到的词汇列表进行 Map 操作:每个词都映射成(word,1)这样的二元组,并输出到标准输出 stdout 中。

 mapper阶段:

#!/usr/bin/env python

# 引入 jieba 分词模块
import jieba
import sys

# 从 stdin 标准输入中依次读取每一行
for line in sys.stdin:

     # 对每一行使用 jieba 分词进行分词
    wlist = jieba.cut(line.strip())

    # 对分词得到的词汇列表进行 Map 操作
    for word in wlist:
        try:
              # 每个词都映射成(word,
  • 1
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值