mapreduce程序运行模式(本地模式和集群模式)

最新推荐文章于 2023-10-25 13:56:51 发布
最新推荐文章于 2023-10-25 13:56:51 发布
阅读量3.5k 收藏 5
点赞数 2
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/peng_0129/article/details/80610293
版权
本文详细介绍了MapReduce程序如何在本地模式下运行，包括数据处理的位置、本地模式的优势以及如何在Windows环境下配置环境变量解决运行错误。在本地模式下，程序以单进程形式运行，便于进行业务逻辑的调试。遇到`java.lang.UnsatisfiedLinkError`错误时，可通过添加hadoop.dll文件到系统目录解决。
摘要由CSDN通过智能技术生成

----------本地模式

（1）mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行

（2）而处理的数据及输出结果可以在本地文件系统，也可以在hdfs上

（3）怎样实现本地运行？写一个程序，不要带集群的配置文件（本质是你的mr程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname参数）

（4）本地模式非常便于进行业务逻辑的debug，只要在eclipse中打断点即可

 

如果在windows下想运行本地模式来测试程序逻辑，需要在windows中配置环境变量：

％HADOOP_HOME

最低0.47元/天 解锁文章
peng_0129
关注
专栏目录
大数据Hadoop（十八）：MapReduce程序运行模式和深入解析
Lansonli（蓝深李）的博客
05-30 2192
全网最详细的Hadoop文章系列，强烈建议收藏加关注！ 后面更新文章都会列出历史文章目录，帮助大家回顾知识重点。 目录 本系列历史文章 前言 MapReduce程序运行模式和深入解析 程序运行模式 1、本地运行模式 2、集群运行模式 深入MapReduce 1、MapReduce的输入和输出 2、MapReduce的处理流程解析 ​​​​​​​3、Mapper任务执行过程详解 ​​​​​​​4、Reducer任务执行过程详解 本系列历史文章 2021年大数据Hadoop（十.
MapReduce 集群程序之本地windows运行
xiaohu21的博客
08-20 951
MapReduce 集群程序之本地windows运行 1.环境准备 Idea 2020版，如果可以，请支持正版Idea，因为破解版本确实会出现一些奇奇怪怪的bug。正版不会，相信这肯定是偶然现象。 创建maven项目 1.配置的pom.xml文件中添加以下依赖信息。 2.检查Idea中关于maven的设置，主要是maven安装路径，maven的settings.xml文件以及maven本地仓库目录路径。 <build> <plugins>
本地跑mapreduce教程
03-23
eclipse的运行结果框跑MR，压缩包里面有截图教程和所需要的所有文件。将jar包和其他配置文件根据教程放好，配好环境变量，就可以在eclipse的console框里面本地跑mapreduce，本人和很多同学都用的这个办法，刚开始测代码的时候很好用。
MapReduce程序运行模式
依旧的博客
11-20 3856
本地运行模式 mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行 而处理的数据及输出结果可以在本地文件系统，也可以在hdfs上 怎样实现本地运行？写一个程序，不要带集群的配置文件 本质是程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname=local参数 本地模式非...
MapReduce运行方式
qq_37042789的博客
08-04 623
1.本地运行 （1）exclipse、idea运用的这两个工具中需要添加两个依赖 启动最小的集群，进行测试 &lt;dependency&gt;     &lt;groupId&gt;org.apache.hadoop&lt;/groupId&gt;     &lt;artifactId&gt;hadoop-minicluster&lt;/artifactId&gt;     &lt;ver...
MapReduce windows local模式运行
江湖峰哥的博客
04-01 408
由于是本地模式运行，所以需要导入windows下的hadoop.dll和winutils.exe，否则将会抱错 java.lang.UnsatisfiedLinkError,并且最好要配置本地HADOOP_HOME环境变量 并且配置path指向%HADOOP_HOME%/bin;%HADOOP_HOME%/sbin; 代码中需要如下配置: Configuration configuration =...
MapReduce学习笔记（3）—— mapreduce程序本地运行模式
一角残叶的博客
08-07 5428
1 本地运行模式 mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行 而处理的数据及输出结果可以在本地文件系统，也可以在hdfs上 实现本地运行？不要带集群的配置文件（本质是mr程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname参数） 本地模式非常便于进行业务逻辑的d...
MAPREDUCE程序运行模式
weixin_43858651的博客
01-07 220
1 本地运行模式 mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行 而处理的数据及输出结果可以在本地文件系统，也可以在hdfs上 怎样实现本地运行？写一个程序，不要带集群的配置文件（本质是你的mr程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname参数） 本地模式非常便...
三 Hadoop运行模式之本地运行模式和伪分布式模式
01-20
Hadoop运行模式主要包括本地模式、伪分布式模式和完全分布式模式。本地模式主要用于快速验证和调试，而伪分布式模式则在单机上模拟分布式环境，适用于学习和测试。接下来，我们将详细解析这两种模式。 ### 1. 本地...
本地MapReduce案例分享
微瞰技术的博客
07-08 389
没有接触的时候，以为MapReduce只能通过远程Hadoop虚拟机才能运行，学习了相关课程之后，发现这种计算也可以在本地运行，只是在部署的时候需要部署到远程服务器上就行了 引入的pom.xml <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding&gt...
关于在idea运行本地MapReduce的问题
mianhuatang__的博客
01-10 1265
在idea运行一个很普通的wordcount 所需环境,反正也不知道是不是这样,就都配了 没配之前一直报错 Could not locate executabl ....\hadoop-2.7.3\hadoop-2.7.3\bin\winutils.exe in the Hadoop binaries 配置完毕之后重启电脑就OK了. 下面是pom依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="htt.
hadoop 中MapReduce代码运行在win7上（本地）
郭大帅
02-16 962
1，下载hadoop安装包，我使用的是hadoop2.6，可以去官网下载。 2，解压后，配置环境变量---->HADOOP_HOME:D:\hadoop\hadoop-2.6.0（我自己的路径，根据自己的安装包路径配置就行） 3，配置完成后，打开cmd，键入：hadoop version ----> 成功后会显示hadoop版本号，失败后就会报错 4，成功后进入你编写的MapReduce m
MapReduce程序如何设置本地运行模式?
最新发布
zy1992As的博客
10-25 398
在文件中，往Configuration对象中添加“mapreduce.framework.name=local”参数，表示程序为本地运行模式，实际上在hadoop-mapreduce-client-core-2.7.4.jar包下面的mapred-default.xml配置文件中，默认指定使用本地运行模式，因此mapreduce.framework.name=local配置也可以省略;(1)本地运行模式：在当前的开发环境模拟MapReduce执行环境，处理的数据及输出结果在本地操作系统。
本地运行以及远程运行mapReduce
lvhao2813的博客
11-24 1834
mapReduce可以分为2部分，map以及reduce。 map的作用是将业务数字化，模型化。然后指定，reduce函数保证所有映射的键值对中的每一个共享相同的键组。 不管本地运行，还是远程运行，都需要在本地配置hadoop环境。 1. 将hadoop-3.2.1.tar.gz解压至本地目录 2.将winutils.exe以及hadoop.dll放在hadoop-3.2.1\bin目录下 3.配置环境变量 path配置 之后的就与网上其他代码的一致了。 本地运行 本地m..
Hadoop基本配置及在本地模式下运行MapReduce案例
不清不慎的博客
12-29 4588
一、认识Hadoop 什么是Hadoop，这里来看看官网的说法，Scalable distribute computing，即可扩展分布式计算框架。具体看下面：The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across c
MapReduce的两种执行环境：本地测试环境，服务器环境
GX的博客
09-12 1000
本地测试环境(windows)： 1、在windows下配置hadoop的环境变量 2、拷贝debug工具(winutils.exe)到hadoop目录中的bin目录，注意winutils.exe的版本要与hadoop版本对应，否则可能会报错。 3、修改hadoop的源码 ，注意：确保项目的lib需要真实安装的jdk的lib 4、MapReduce调用的代码需要改变： a、src不能
Mapreduce本地运行模式WordCount（Windows环境）
蓝色水彼的博客
06-10 1219
本地运行模式将给mapreduce程序编写与调试带来极大遍历，不然还要打包、上传、数据准备到hdfs等多步骤，很是耗时。这里的本地是程序在本地运行，同时输入数据和输入数据也是在本地。同时还可以进行断点debug。 一、基础环境配置 要在本地运行，需要配置windows所需的运行库，步骤如下： 1、下载解压hadoop-common-2.6.0-bin-master 我的路径是：D:\ins...
Hadoop编程——第五章：(3) MapReduce集群与本地local运行模式
weixin_45348240的博客
07-05 758
MapReduce经典入门案例:WordCountWordCount中文叫做单词统计、词频统计，指的是统计指定文件中，每个单词出现的总次数。这个是大数据计算领域经典的入门案例，相当于Hello World。 虽然WordCount业务及其简单，但是希望能够通过案例感受背后MapReduce的执行流程和默认的行为机制，这才是关键。 map阶段的核心∶把输入的数据经过切割，全部标记1。因此输出就是。 shuffle阶段核心∶经过默认的排序分区分组，key相同的单词会作为一组数据构成新的kv对。 re......
eclipes连接Hadoop集群,执行mapreduce程序
weixin_30568591的博客
08-08 81
A. eclipse下配置hadoop插件(保证Run as Hadoop )好使。 下载0.20.3版本的plugin。下载地址：https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar。 删除eclipse/plugin目录下的0.20.2版本，...
在集群运行模式提交词频统计MapReduce程序运行的步骤是
04-26
首先，您需要编写一个MapReduce程序来进行词频统计。 然后，您需要将该程序上传到Hadoop集群中，并配置好相应的参数。 接下来，您需要使用hadoop jar命令来运行该程序。这将启动MapReduce作业并将其提交到集群中进行运行。 在运行期间，集群将自动分配任务给不同的节点，并将中间结果发送回主节点进行汇总。 最后，您将获得词频统计结果，并可以将其保存到您的本地文件系统或HDFS中进行后续分析和处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值