大数据----使用MapReduce【1】

最新推荐文章于 2022-12-17 18:50:18 发布

谪仙逍遥

最新推荐文章于 2022-12-17 18:50:18 发布

阅读量250

点赞数 4

分类专栏：大数据入门

本文链接：https://blog.csdn.net/weixin_43874875/article/details/103156195

版权

本文介绍了大数据处理中MapReduce的使用，包括LongWritable、IntWritable等数据类型，以及WordCountMap和WordCountReduce类的实现，用于计算文本中单词的总数。在Map阶段，对输入数据进行分割并计算单词数量；在Reduce阶段，将相同单词的计数求和。最后，通过WordCountDrive类配置并运行Job。

摘要由CSDN通过智能技术生成

偏移量:
指的是每行行首字母移动到文本的最前面需要一定的字符

MapReduce的数据类型
LongWritable 长整型
IntWritable 整型
DoubleWritable 双字节数值
FloatWritable 浮点型
Text 文本
BooleanWritable 布尔型数值

POM文件【配置文件】

<?xml version="1.0" encoding="UTF-8"?>

4.0.0

cn.itcast
mapreduce
1.0-SNAPSHOT

cloudera
https://repository.cloudera.com/artifactory/cloudera-repos/

org.apache.Hadoop
Hadoop-client
2.6.0-mr1-cdh5.14.0

org.apache.Hadoop
Hadoop-common
2.6.0-cdh5.14.0

org.apache.Hadoop
Hadoop-hdfs
2.6.0-cdh5.14.0

<dependency>
    <groupId>org.apache.Hadoop</groupId>
    <artifactId>Hadoop-mapreduce-client-core</artifactId>
    <version>2.6.0-cdh5.14.0</version>
</dependency>
<dependency>
    &

最低0.47元/天解锁文章

谪仙逍遥

关注

4
点赞
踩
0

收藏

觉得还不错? 一键收藏
2
评论
大数据----使用MapReduce【1】

偏移量:指的是每行行首字母移动到文本的最前面需要一定的字符MapReduce的数据类型LongWritable 长整型IntWritable 整型DoubleWritable 双字节数值FloatWritable 浮点型Text 文本BooleanWritable 布尔型数值POM文件【配置文件】<?xml version="1.0" encoding="UTF-8"?&...
复制链接

扫一扫