winutil处理 hadoop-2.6.1

最新推荐文章于 2024-09-10 11:24:41 发布

华宇不怀疑

最新推荐文章于 2024-09-10 11:24:41 发布

阅读量130

点赞数

文章标签： elementui 前端 javascript

本文链接：https://blog.csdn.net/m0_60704770/article/details/124651256

版权

本文详细介绍了使用Hadoop处理数据的过程，包括Map阶段的每行数据拆分和单词计数，Reduce阶段的单词求和，以及最终得到的处理后数据结果。

摘要由CSDN通过智能技术生成

原始数据

HDFS

words

hello tom

hello jerry

hello kitty

hello world

hello tom

Map阶段

1.每次读一行数据,

2.拆分每行数据,

3.每个单词碰到一次写个1

<0, "hello tom">
 
<10, "hello jerry">
 
<22, "hello kitty">
 
<34, "hello world">
 
<46, "hello tom">

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;
/**
 * LongWritable 偏移量 long，表示该行在文件中的位置，而不是行号
 * Text map阶段的输入数据 一行文本信息 字符串类型 String
 * Text map阶段的数据字符