MapReduce开发

最新推荐文章于 2024-06-19 16:27:35 发布
最新推荐文章于 2024-06-19 16:27:35 发布
阅读量272 收藏 2
点赞数 2
分类专栏： Hadoop 文章标签： mapreduce hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51699336/article/details/125351825
版权

前提

1.yarn-site.xml配置

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

2.解决HDFS权限问题

  • API方式
System.setProperty("HADOOP_USER_NAME","root")
  • 配置方式
<property>
	<name>dfs.permissions.enabled</name>
	<value>false</value>
</property>

MR执行环境

  • 以WordCount程序为例

1.本地测试环境(IDEA)

  • 本地测试以多线程方式模拟服务器运行，无需开启集群
  • IDEA内创建Java项目，并导入依赖
<properties>
    <java.version>1.8</java.version>
    <hadoop.version>2.7.1</hadoop.version>
</properties>
<dependencies>
    <!--编译时需要的jar-->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
</dependencies>
  • 编写输入数据在本地，注意程序运行起来输出目录会被删一次，所以最好创建一个新的目录，输出目录不用手动创建，程序运行时会自动创建
    在这里插入图片描述
  • 编写WorkCount程序代码
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.util.StringTokenizer;

public class WordCount {

    /**
     * map映射器：将输入<字节偏移量，一行文本>切分成<单词，次数>
     * map之前有一步split，将文本切分成<字节偏移量，一行文本>
     */
    public static class TokenizerMapper
            extends Mapper<Object, Text, Text, IntWritable> {//<前两位表示输入类型<偏移量，一行文本>，后两位表示输出类型<单词，数字>>
        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();
        /**
         * 前两个参是输入类型
         *
         * @param key     偏移量
         * @param value   一行文本，Text类型可序列化，可比较(WritableComparable接口)
         * @param context hadoop运行容器，可取出运行时的环境变量
         * @throws IOException
         * @throws InterruptedException
         */
        @Override
        public void map(Object key, Text value, Context context
        ) throws IOException, InterruptedException {
            System.out.println("切分split后数据--偏移量:" + key + "\t值:" + value);
            StringTokenizer itr = new StringTokenizer(value.toString());//根据自然分隔符分割
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());//写入文本对象
                context.write(word, one);//保存出去(单词，数字)
            }
        }
    }

    /**
     * combiner(单节点合并)和reduce(多节点数据合并)都是对相同键的数据进行规约，使用一个即可
     * <前两个泛型表示规约的输入数据来源于map的输出，后两个是规约后的单词与数字>
     */
    public static class IntSumReducer
            extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();

        /**
         * @param key     单词
         * @param values  相同单词对应出现次数的集合
         *                类中泛型约束是IntWritable，为什么方法上是Iterable<IntWritable>？
         *                因为在统计之前会相同的键做成列表word [1,1,1]，然后在规约word 3
         * @param context
         * @throws IOException
         * @throws InterruptedException
         */
        @Override
        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {//对一个键
                sum += val.get();//求和规约
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();//配置参数(map数,reduce数...对于配置配置文件中的API配置)
        Job job = Job.getInstance(conf, "word count");//名字
        job.setJarByClass(WordCount.class);//上线的jar
        job.setMapperClass(TokenizerMapper.class);//mapper
        job.setCombinerClass(IntSumReducer.class);//combine:合并一个节点
        job.setReducerClass(IntSumReducer.class);//reduce:合并不同节点
        job.setOutputKeyClass(Text.class);//输出键的类型，与上面一致
        job.setOutputValueClass(IntWritable.class);//输出值的类型，与上面一致
        FileInputFormat.addInputPath(job, new Path("E:\\HadoopMRData\\input"));//输入目录
        FileOutputFormat.setOutputPath(job, new Path("E:\\HadoopMRData\\output"));//输出目录，这个目录要不存在运行时创建，特别注意要设置到空目录，应为执行之前会删一次****
        System.exit(job.waitForCompletion(true) ? 0 : 1);//启动，0表示正常退出
    }
}
  • 观察E:\HadoopMRData\output目录下的输出数据

2.直接在服务器使用命令的方式调用

  • 程序的执行过程也在服务器上
  • IDEA内创建Java项目，并导入依赖
<properties>
    <java.version>1.8</java.version>
    <hadoop.version>2.7.1</hadoop.version>
</properties>
<dependencies>
    <!--打包到hadoop集群运行不需要其他jar,只需要这个再加一个打包插件-->
    <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-core</artifactId>
         <version>1.2.1</version>
     </dependency>
</dependencies>
<!--打包工具-->
<build>
    <pluginManagement>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-jar-plugin</artifactId>
                <version>2.4</version>
            </plugin>
        </plugins>
    </pluginManagement>
</build>
  • 编写WorkCount程序代码
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.util.StringTokenizer;

public class WordCount {

    /**
     * map映射器：将输入<字节偏移量，一行文本>切分成<单词，次数>
     * map之前有一步split，将文本切分成<字节偏移量，一行文本>
     */
    public static class TokenizerMapper
            extends Mapper<Object, Text, Text, IntWritable> {//<前两位表示输入类型<偏移量，一行文本>，后两位表示输出类型<单词，数字>>

        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        /**
         * 前两个参是输入类型
         *
         * @param key     偏移量
         * @param value   一行文本，Text类型可序列化，可比较(WritableComparable接口)
         * @param context hadoop运行容器，可取出运行时的环境变量
         * @throws IOException
         * @throws InterruptedException
         */
        @Override
        public void map(Object key, Text value, Context context
        ) throws IOException, InterruptedException {
            System.out.println("切分split后数据--偏移量:" + key + "\t值:" + value);
            StringTokenizer itr = new StringTokenizer(value.toString());//根据自然分隔符分割
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());//写入文本对象
                context.write(word, one);//保存出去(单词，数字)
            }
        }
    }

    /**
     * combiner(单节点合并)和reduce(多节点数据合并)都是对相同键的数据进行规约
     * <前两个泛型表示规约的输入数据来源于map的输出，后两个是规约后的单词与数字>
     */
    public static class IntSumReducer
            extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();

        /**
         * @param key     单词
         * @param values  相同单词对应出现次数的集合
         *                类中泛型约束是IntWritable，为什么方法上是Iterable<IntWritable>？
         *                因为在统计之前会相同的键做成列表word [1,1,1]，然后在规约word 3
         * @param context
         * @throws IOException
         * @throws InterruptedException
         */
        @Override
        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {//对一个键
                sum += val.get();//求和规约
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();//配置参数(map数,reduce数...对于配置配置文件中的API配置)
        Job job = Job.getInstance(conf, "word count");//名字
        job.setJarByClass(WordCount.class);//上线的jar
        job.setMapperClass(TokenizerMapper.class);//mapper
        job.setCombinerClass(IntSumReducer.class);//combine:合并一个节点
        job.setReducerClass(IntSumReducer.class);//reduce:合并不同节点
        job.setOutputKeyClass(Text.class);//输出键的类型，与上面一致
        job.setOutputValueClass(IntWritable.class);//输出值的类型，与上面一致
        FileInputFormat.addInputPath(job, new Path(args[0]));//命令行运行时传入
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);//启动，0表示正常退出
    }
}
  • 打包
    在这里插入图片描述
  • 将打好的包放到Linux中
    在这里插入图片描述
  • hdfs中创建输入目录，不要创建输出目录否则失败
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 编写输入数据在hdfs
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • jar在hadoop上运行，命令格式：hadoop jar xxx.jar 类名 输入路径 输出路径
    在这里插入图片描述
  • web观察http://node3:8088/有任务在进行，运行完后观察输出数据

下篇讲讲MR小案例

ChenJieYaYa
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
第6章 MapReduce应用开发
chuichanfei4511的博客
09-04 124
开发流程： 首先写map函数和reduce函数，最好使用单元测试来确保函数的运行符合预期。 然后写一个驱动程序来运行作业，看这个驱动程序是否可以正确运行，可以先从本地IDE中用一个小的数据集来运行它。 调试，改进 部署到集群测试 测试，改进 正常运行之后，优化 用于配置的API Conf...
MapReduce开发的各个步骤
feizuiku0116的博客
01-04 545
一、Map阶段 设置InputFormat类，读取输入文件内容，对输入文件的每一行，解析成Key、value对（K1和V1） 自定义map方法，每一个键值对调用一次map方法，将第一步的K1和V1结果转换成另外的Key-Value（K2和V2）对，输出结果 二、Shuffle阶段 对map阶段输出的K2和V2进行分区 对不同分区的数据按照相同的Key排序 （可选）对数据进行局部聚合，降低数据的网络拷贝 对数据进行分组，相同Key的Value放入一个集合中，得到K2和V2 三、Reduce阶段 对m
MapReduce开发流程及示例
qq_45952294的博客
12-17 1519
setup Mapper Partitioner Comparable Combiner Reducer
mapreduce（python开发)
qq_45014844的博客
06-01 6793
开发mapreduce 简介： MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义： （1）MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。 （2）MapReduce是一个并行计算与运行软件框架（Software Framework）。它提供了一个庞大但设计精良的并行计算软件框架，能自动完成计算任务的并行化处理，自动划分计算数据和计算任
MapReduce开发环境搭建
m0_50689246的博客
08-11 967
MapReduce开发环境搭建
Hadoop MapReduce 开发总结
lesileqin的博客
04-21 410
Hadoop中的MapReduce是一种编程模型，用于大规模数据集的并行运算 该博客是MapReduce开发系列文章总结~ 标题 访问连接 MapReduce 概述 https://blog.csdn.net/lesileqin/article/details/115725023 MapReduce 核心编程思想 https://blog.csdn.net/lesileqin/article/details/115726080 MapReduce 编程规范 及 常用数据序列化类型
MapReduce快速入门系列(16) | MapReduce开发总结
不温卜火
04-30 5765
此篇文章讲述的是MapReduce的开发总结，希望能够帮助到各位小可爱呀！ 目录1. 输入数据接口：InputFormat2. 逻辑处理接口：Mapper3. Partitioner分区4. Comparable排序5. Combiner合并6. Reduce端分组：GroupingComparator7. 逻辑处理接口：Reducer8. 输出数据接口：OutputFormat 在编写Ma...
mapreduce环境配置
m0_61229395的博客
03-18 1062
本例在node01伪分布式配置，node02,node03,node04,node05高可用环境配置，在node01实践编程，本例能够运行的前提是搭建好以上环境hadoop环境搭建。
MapReduce开发应用
01-29
高清版，MapReduce开发应用，高清版，MapReduce开发应用，高清版，MapReduce开发应用，高清版，MapReduce开发应用，高清版，MapReduce开发应用，
MapReduce开发 大数据 入门 学习
03-09
本篇主要介绍MapReduce开发的基础知识，以大数据入门学习的角度出发。 首先，我们从一个简单的例子——WordCount程序开始。WordCount程序是MapReduce的典型应用，它统计一组文本文件中每个单词出现的次数。Map阶段...
mapreduce开发优化文档
09-30
mapreduce开发优化文档
Hadoop MapReduce开发
07-30
本章详细讲解如何工程化的进行MapReduce开发，从代码编写、到单元测试、到本地测试、到集群测试，并初步讲解如何进行优化。
MapReduce开发案例
03-07
我的第一个MapReduce程序，对基础代码进行了，些许的优化，如果是才开始学的可以参考一下，老手emmm，帮忙看错，嘻嘻(最后要加上fs.close(); 作者打包的时候忘了加了)
mapreduce综合应用案例 — 招聘数据清洗
youyouxiong的博客
06-16 439
MapReduce是一个编程模型和处理大数据集的框架，它由Google开发并广泛使用于分布式计算环境中。MapReduce模型包含两个主要的函数：Map和Reduce。Map函数用于处理输入的键值对生成中间键值对，Reduce函数则用于合并Map函数输出的具有相同键的中间值。在招聘数据清洗的案例中，MapReduce可以被用来处理和清洗大量的简历数据，以便于后续的数据分析和处理。
数据结构与算法笔记：基础篇 - 分治算法：谈一谈大规模计算框架MapReduce中的分治思想
chenjian723122704的专栏
06-19 485
MapReduce 是 Google 大数据处理的三姐马车之一，另外两个事 GFS 和 Bigtable。它在倒排索引、PageRank 计算、网页分析等搜索引擎相关的技术中都有大量的应用。尽管开发一个 MapReduce 看起来很高深。实际上，万变不离其宗，它的本质就是本章要学的这种算法思想，分支算法。
Hadoop3：MapReduce中的Shuffle机制
最新发布
Brave_heart4pzj的博客
06-19 146
Hadoop
WPF/C#：程序关闭的三种模式
mingupup的博客
06-12 944
是一个枚举类型，它定义了WPF应用程序的关闭方式。OnLastWindowClose：当最后一个窗口关闭或者调用System.Windows.Application.Shutdown方法时，应用程序会关闭。OnMainWindowClose：当主窗口关闭或者调用System.Windows.Application.Shutdown方法时，应用程序会关闭。OnExplicitShutdown：只有当调用System.Windows.Application.Shutdown方法时，应用程序才会关闭。
Hadoop升级失败，File system image contains an old layout version -64
JustinMars的博客
06-19 56
datasophon 部署Hadoop版本。原始版本 Hadoop 3.1.3。升级版本 Hadoop 3.3.3。查看Hadoop格式化版本。
linux中HADOOP_HOME和JAVA_HOME删除后依然指向旧目录
JustinMars的博客
06-12 275
在Linux系统中，当你删除了HADOOP_HOME和JAVA_HOME环境变量后，它们依然指向旧目录，可能是因为这些变量在其他地方被设置了。如果Hadoop或其他相关服务是通过系统服务启动的，检查这些服务的启动脚本。根据你使用的是登录Shell还是非登录Shell，不同的配置文件会被加载。（如果使用zsh）。这些文件也可能包含对HADOOP_HOME和JAVA_HOME的设置。这些文件可能包含对HADOOP_HOME和JAVA_HOME的设置。有时候，环境变量的更改需要重新启动终端或重新登录才能生效。
mapreduce开发-排序
05-25
MapReduce是一种分布式计算模型，用于处理大规模数据集。在MapReduce中，排序通常是一个重要的操作，因为它可以帮助我们对数据进行有序的处理和分析。下面是一个基本的MapReduce排序程序的伪代码： ``` // Map函数 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值