Hadoop实例-----统计单词个数

本文介绍了使用Hadoop进行单词计数的详细步骤,包括环境准备、文件上传、Eclipse工程配置、Mapper和Reducer类编写、程序打包及运行,最后通过命令行查看统计结果。
摘要由CSDN通过智能技术生成

下面来讲一个hadoop的实例,统计文件words.txt中单词的个数。
一、环境需求:
1、虚拟机itcast01
2、在虚拟机itcast安装eclipse(注意是linux版本的,安装过程参考前面的博客)
二、过程
1、在itcast01虚拟机上创建文件words.txt文件,并写入一定数据,保存。
2、start-all.sh开启Hadoop服务,hadoop fs -put words.txt hdfs://itcast01:9000/把文件words.txt上传到hdfs服务器的更目录下。
3、打开eclipse,创建java工程。导入hadoop包和相关配置文件。
进入/hadoop安装目录下/share/hadoop/,(1)、把hdfs文件夹下的jar包和hdfs/bin目录下的jar包导入工程)。(2)、把mapreduce文件夹下的jar包和mapreduce/bin目录下的jar包导入工程。(3)、把yarn文件夹下的jar包和yarn/bin目录下的jar包导入工程。(4)、把common文件夹下的jar包和common/bin下的jar包导入工程。(5)、把hadoop安装目录下/etc/hadoop中core-site.xml和hdfs-site.xml文件配置到java工程的src目录下。
4、编写代码程序
建一个WcMapper类

package cn.itcast.hadoop.mr;
import java.io.IOException;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
public class WcMapper extends Mapper<LongWritable, Text, Text,LongWritable> {
   //必须继承Mapper
    @Override
    protected void map
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值