伪分布式yarn上运行mr程序

最新推荐文章于 2021-07-13 16:53:55 发布
最新推荐文章于 2021-07-13 16:53:55 发布
阅读量1w 收藏 1
点赞数 1
分类专栏： 大数据 文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45992021/article/details/114735412
版权

伪分布式yarn上运行mr程序

伪分布式yarn上运行mr程序

具体步骤如下：

在这里插入图片描述
在这里插入图片描述

1.配置集群

在NotePad++编译器内打开/opt/module/hadoop-2.7.2/etc/hadoop
在这里插入图片描述
配置yarn的java环境变量
在这里插入图片描述
在这里插入图片描述
配置yarn-site.xml文件
如果能ping通自己的主机名说明你可以使用主机名来配置resourcemanager
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
配置mapred-env.sh
在这里插入图片描述
配置： (对mapred-site.xml.template重新命名为) mapred-site.xml
在这里插入图片描述
在这里插入图片描述

2.启动集群

在这里插入图片描述
先启动主节点
在这里插入图片描述
再启动从节点
在这里插入图片描述

3.集群操作

在yarn的浏览器界面查看
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这里伪分布式yarn上运行mr程序 就完成了！！！

上一步：伪分布式调用hdfs运行yarn
文章链接: https://editor.csdn.net/md/?articleId=114733816.

李莲花*
关注
专栏目录
大数据之-Hadoop伪分布式_启动YARN并运行MR程序---大数据之hadoop工作笔记0026
添柴程序猿的专栏
03-22 424
之前我们运行hadoop提供的案例是用hdfs运行的. 现在我们来配置一下yarn,我们用yarn,这个资源管理器来运行hadoop的mr程序. 首先我们要知道yarn包含两个主要的部分,当然还有其他的.主要的是 resourcesmanager和nodemanager resourcesmanager管理所有的nodemanager NodeManager,会去管理自己节点上的资源,收到老大ResourceManager的命令要执行,另外,还会处理自己节点上 App Mstr的...
大数据之-Hadoop伪分布式_配置启动HDFS_并运行MR程序---大数据之hadoop工作笔记0023
添柴程序猿的专栏
03-21 326
然后之前我们看了单机模式下我们运行一下hadoop提供的一些案例之类的,可以看到 之前我们用的 standalone 独立的 用单机模式 接下来我们去看这个pseudo-Distributed Operation这个是伪分布模式Distributed分布 可以看到这个伪分布式,说说,用java的多个进程,来模仿的分布式. 可以看到,怎么配置伪分布式,首先去修改 etc/hadoop/core-site.xml 这个文件 然后我可以先进入/opt/module/hadoo...
MR程序在集群上运行的两种方式
有上进心的阿龙
12-22 534
编写MR程序在集群上运行。输入输出路径不要写死，作为参数传进来。 方式一、 打jar包 把这个包放到桌面上去 把jar包放到这个linux目录上 启动集群 准备测试数据，放在集群上：
伪分布式（yarn）运行Hadoop案例（二）
刘信坚的博客
10-28 345
YARN 上运行 MapReduce 程序 1  首先配置yarn-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 2 配置 yarn-site.xml   <!-- reducer 获取数据的方式 --> <property> <name>yarn.nodemanager.aux-servi...
Hadoop伪分布式运行及YARN的初始化
jaky0306的专栏
05-24 1302
上篇文章Hadoop基本环境搭建http://blog.csdn.net/jaky0306/article/details/72676904 的末尾，我们配置了Hadoop的伪分布式模式 本次我们来运行下伪分布式模式的例子。 伪分布式模式读取的是HDFS上的数据。其实它跟单机模式的操作很相似的，只不过，单机模式操作的是本地文件，伪分布模式操作的是HDFS上的数据 Hado
Hadoop伪分布式 => 启动YARN并运行MR程序
小妖666个人笔记
04-06 301
配置集群： cd /opt/module/hadoop-2.9.2/etc/hadoop sudo vim yarn-env.sh 将 # export JAVA_HOME=/home/y/libexec/jdk1.6.0/注释打开修改为 export JAVA_HOME=/opt/module/jdk1.8.0_241 sudo vim yarn-site.xml 在<con...
Hadoop伪分布式 启动HDFS&YARN运行MapReduce
ccccrj博客
08-15 2554
文章目录伪分布式1 启动HDFS并运行MapReduce1.1 配置配置hadoop-env.shcore-site.xmlhdfs-site.xml1.2 启动集群传输文件格式化流程NameNode问题logs日志信息2 启动YARN运行MapReduce配置yarn-env.shyarn-site.xml配置mapred-env.shmapred-site.xml启动集群集群操作3 配置历史服务器mapred-site.xml配置日志集群配置yarn-site.xml 伪分布式 服务器配置按照完全分布式
Hadoop环境搭建之伪分布式运行模式
a1786742005的博客
01-27 1117
一、hadoop伪分布式运行模式介绍 在一台主机模拟多主机。 Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行，是相互独立的Java进程。 在这种模式下，Hadoop使用的是分布式文件系统，各个作业也是由JobTraker服务，来管理的独立进程。在单机模式之上增加了代码调试功能，允许检查内存使用情况，HDFS输入输出，...
Yarn伪分布式和分布式安装
m0_59737088的博客
07-13 218
Yarn 介绍 # 概念 是MapReduce代码的运行环境，为mapreduce提供所需资源分配调度。 Yarn-分布式资源调度器(CPU 内存) 监控管理调度多个服务器上的计算资源-CPU 内存等。 伪分布式安装 ① 准备HDFS集群环境 [root@hadoop10 ~]# jps 2224 Jps 2113 SecondaryNameNode 1910 DataNode 1806 NameNode ② 初始化Yarn相关配置文件 # 1. mapred-site.xml（m
MR程序Debug调式或者运行模式
weixin_33671935的博客
06-03 140
2019独角兽企业重金招聘Python工程师标准>>> ...
HADOOP 单机模式 伪分布式 完全分布式区别
yhblog的博客
11-11 1万+
1.单机(非分布式)模式 这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统，一般仅用于本地MR程序的调试 2.伪分布式运行模式 这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode) 　　请注意分布式运行中的这几个结点的...
MR-eclipse本地开发环境搭建&Hadoop学习总结
lantian0802的专栏
03-09 5612
一、Hadoop伪分布式部署及eclipse开发环境搭建 1.搭建虚拟机环境： 搭建在win7上的linux虚拟机，套件版本为：CentOS release 6.2 （Final）. 2.下载hadoop，我下载的版本是hadoop 1.1.2 3.下载hadoop-eclipse-plugin-1.1.2.jar 或者 在${HADOOPHOME}/contrib/目录下找到 hado
linux平台运行 mr程序,MR程序的几种提交运行模式
weixin_33789616的博客
05-02 377
本地模式运行1-在windows的eclipse里面直接运行main方法将会将job提交给本地执行器localjobrunner输入输出数据可以放在本地路径下输入输出数据放在HDFS中：(hdfs://xxx:9000/wc/srcdata),如果将hdfs的配置文件放在类路径下面，那么不用写hdfs://2-在linux的eclipse里面直接运行main方法，但是不要提那家yarn相关的配置，...
用python + hadoop streaming 编写分布式程序（二） -- 在集群上运行与监控
05-30 111
写在前面 相关随笔： Hadoop-1.0.4集群搭建笔记 用python + hadoop streaming 编写分布式程序（一） -- 原理介绍，样例程序与本地调试 用python + hadoop streaming 编写分布式程序（三） -- 自定义功能 为了方便，这篇文章里的例子均为伪分布式运行，一般来说只要集群配置得当，在伪分布式下能够运行的程序，在...
手写一个简单的MR程序，并在集群中运行！！（wordcount）
Mr.Zheng的博客
03-05 766
前言 实现一个手写的WC程序，并打包在集群上运行。 创建一个Maven工程，导入pom 工程目录 导入pom <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XM...
虚拟机VMware15安装
热门推荐
weixin_45992021的博客
03-10 1万+
虚拟机VMware15安装虚拟机VMware15安装具体步骤如下： 虚拟机VMware15安装 具体步骤如下：
伪分布式调用hdfs运行yarn
weixin_45992021的博客
03-13 1万+
伪分布式调用hdfs运行yarn伪分布式调用hdfs运行yarn具体步骤如下： 伪分布式调用hdfs运行yarn 具体步骤如下： 启动SecureCRSecureFX 启动namenode和DataNode bin/hdfs dfs -mkdir -p /user/dev1/input：在hadoop集群里面创建一个文件 （mkdir：在Linux里面创建一个文件） 打开Applications下的浏览器，输入如下网址 打开网址后打开Overview>Browse the file syste
Yarn上运行MapReduce实战：配置与机制解析
在配置Yarn时，我们需要在`mapred-site.xml`中设置`mapreduce.framework.name`为`yarn`，使MapReduce程序能在Yarn集群上运行。同时，`yarn-site.xml`中需要配置ResourceManager的主机名、NodeManager的辅助服务（如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

李莲花*

多谢多谢，来自一名大学生的感谢

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值