Hadoop调用MapReduce实现对文件中各个单词出现的次数进行统计

本文档详细介绍了如何在Ubuntu环境下利用Hadoop MapReduce对一个包含10000个英文单词的文件lwj.txt进行词频统计。首先,文件被上传到HDFS,接着通过Eclipse创建并运行MapReduce程序,最后将处理结果下载至本地并查看。
摘要由CSDN通过智能技术生成

一、需求描述

1.将待分析的文件(不少于10000英文单词)上传到HDFS。

2.调用MapReduce对文件中各个单词出现的次数进行统计。

3.将统计结果下载本地。

二、环境介绍

安装Ubuntu系统

配置Java环境,安装JDK 

安装hadoop

三、数据来源及数据上传

    准备一个待分析的 10000 字英文单词文件,命名为lwj.txt。开启虚拟机双向拖放,将lwj.txt 文件拖拽到 hadoop 中:

<

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值