hadoop

最新推荐文章于 2024-06-28 09:37:28 发布
最新推荐文章于 2024-06-28 09:37:28 发布
阅读量928 收藏 26
点赞数 23
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YJH040325/article/details/135510284
版权
本文详细介绍了如何配置HadoopYARN环境，包括mapred-site.xml和yarn-site.xml的设置，启动和停止YARN服务，以及通过wordcount示例验证YARN运行。还涉及了静态IP配置、集群规划、防火墙管理和SSH免密登录等内容。
摘要由CSDN通过智能技术生成

3.3配置yarn

3.3.1配置mapred-site.xml

cd  $HADOOP_HOME/etc/hadoop  #进入hadoop的配置文件目录

配置mapred-site.xml

vi  mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>yarn.app.mapreduce.am.env</name>

<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.4</value>

</property>

<property>

<name>mapreduce.map.env</name>

<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.4</value>

</property>

<property>

<name>mapreduce.reduce.env</name>

<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.4</value>

</property>

<property>

<name>yarn.nodemanager.resource.memory-mb</name>

<value>4096</value>

</property>

</configuration>

3.3.2配置yarn-site.xml

vi  yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

3.3.3启动yarn

cd   $HADOOP_HOME  #切换到hadoop安装目录

sbin/start-yarn.sh   #启动yarn

sbin/stop-yarn.sh   #关闭yarn

#输入jps查看情况

46936 NodeManager

46762 ResourceManager

3.3.4查看可视化界面

查看hdfs运行情况

查看yarn运行情况

3.3.5使用hadoop的example跑wordcount

Sanxingdui Ruins,known as the "The Ninth Wonder of the World",are the largest ruins of the ancient Shu Kingdom discovered so far in Southwest China.Sanxingdui site has also unearthed more than 10,000 cultural relics,all dating back to 5,000 to 3,000 BC.These cultural relics include gold,pottery and ivory products with exquisite craftsmanship and peculiar shapes.They  are of great value to the study of the process of early countries and the development of religious consciousness and occupy an important position in the history of human civilization.

vi  /1.txt  #将上面的原文存进来

hdfs  dfs  -put  /1.txt   /

hadoop  jar  hadoop-mapreduce-examples-3.2.4.jar  wordcount  /1.txt   /result

#通过可视化，可以看到hdfs  /目录下多了一个result目录

hdfs  dfs  -cat     /result/part-r-00000

4.4简易集群搭建

4.4.1配置静态ip

vi   /etc/sysconfig/network-scripts/ifcfg-ens33

将BOOTPROTO=dhcp改为=static

    ONBOOT=no改为yes

在末尾添加

IPADDR=192.168.XX.200  #用自己的ip

NETMASK=255.255.255.0

GATEWAY=192.168.XX.2  #用自己的ip

DNS1=114.114.114.114

#重新加载网络设置

service  network  restart

4.4.2集群规划

#修改当前主机名称

hostnamectl  set-hostname  master

bash  #重置

将原有的内容修改为master保存并重启虚拟机后显示

4.4.3修改hosts设置

vi   /etc/hosts #文末添加

192.168.xx.200  master

192.168.xx.201  slave1

192.168.xx.202  slave2

192.168.xx.203  slave3

输入ping master测试是否连接

4.4.5解压hadoop与jdk并配置环境变量

解压

tar  -zxf    /opt/jdk-8u221-linux-x64.tar.gz   -C   /usr/local/

tar  -zxf    /opt/hadoop-3.2.4.tar.gz   -C   /usr/local/

配置环境变量

vi    /etc/profile  #文末添加以下内容

export JAVA_HOME=/usr/local/jdk1.8.0_221

export HADOOP_HOME=/usr/local/hadoop-3.2.4

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source  /etc/profile  #使文件生效

4.4.6修改hadoop配置文件

cd   /usr/local/hadoop-3.2.4/etc/hadoop  #配置文件在此目录

vi  hadoop-env.sh

在文件开头添加如下内容

HDFS_NAMENODE_USER=root

HDFS_DATANODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

YARN_RESOURCEMANAGER_USER=root

YARN_NODEMANAGER_USER=root

export JAVA_HOME=/usr/local/jdk1.8.0_221

保存并退出

vi  core-site.xml  #对hdfs的通信端口进行指定

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/tmp/hadoop</value>

</property>

</configuration>

vi hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

</configuration>

保存并退出

cd  $HADOOP_HOME/etc/hadoop  #进入hadoop的配置文件

配置mapred-site.xml

vi  mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>yarn.app.mapreduce.am.env</name>

<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.4</value>

</property>

<property>

<name>mapreduce.map.env</name>

<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.4</value>

</property>

<property>

<name>mapreduce.reduce.env</name>

<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.4</value>

</property>

</configuration>

vi  yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

vi  workers  #添加被管理的datanode节点

删除所有数据并添加代表着两个节点存数据

master

slave1

4.4.7删除运行痕迹

#从伪分布式搭建，需要删除伪分布式hadoop运行痕迹

rm  -fr  /tmp/*

rm  -fr  $HADOOP_HOME/logs/*

如出现问题，所有节点都需要删除，最后重新格式化

4.4.8关闭防火墙并实现免密

systemctl  stop  firewalld   #关闭防火墙

systemctl  disable  firewalld  #开机不开启防火墙

systemctl  status firewalld  #查看防火墙状态

ssh-keygen   #生成密钥（多次回车）

cat    ~/.ssh/id_rsa.pub  >>  ~./ssh/authorized_keys  #追加密钥到钥匙包里面

如果后续启动集群显示免密失败，重新生成master的key，然后发送给slave1

ssh-keygen

cat    ~/.ssh/id_rsa.pub  >>  ~./ssh/authorized_keys

ssh-copy-id  -i  root@slave1

同时在salve1上生成密钥，发送给自己，然后再发送给slave1

ssh-keygen

cat    ~/.ssh/id_rsa.pub  >>  ~./ssh/authorized_keys

ssh-copy-id  -i  root@master

输入ssh locahost测试是否对自己免密远程登录

输入logout退出当前远程登录

4.4.9关机并克隆虚拟机

1.1修改slave1主机名

先将slave1开机 将克隆的主机名称修改为slave1

hostnamectl  set-hostname  slave1

bash  #重置

1.2分别修改来两个主机的ip

需要修改slave1的ip

vi   /etc/sysconfig/network-scripts/ifcfg-ens33

将BOOTPROTO=dhcp改为=static

    ONBOOT=no改为yes

在末尾添加

IPADDR=192.168.XX.201  #用自己的ip

NETMASK=255.255.255.0

GATEWAY=192.168.XX.2  #用自己的ip

DNS1=114.114.114.114

#重新加载网络设置

service  network  restar

1.3格式化集群

将master开机-在主节点master上操作（不是slave节点）

hdfs  namenode  -format

#如果启动失败，有可能需要重新格式化

首先删除hadoop运行痕迹

rm  -rf   /tmp/*

再hdfs  namenode  -format

1.4启动集群

在master节点操作

cd  $HADOOP_HOME

sbin/start-dfs.sh  #启动hdfs集群

sbin/stop-dfs.sh  #停止hdfs集群

sbin/start-yarn.sh  #启动yarn集群

sbin/stop-yarn.sh  #停止yarn集群

1.5集群可视化

YJH040325
关注
  • 23
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop3.3.4 winutils
12-18
Hadoop是大数据处理领域的重要框架，它以分布式计算模型为基础，提供高可靠性和高扩展性的数据存储和处理能力。在Windows环境下配置和运行Hadoop通常比在Linux上更为复杂，因为Hadoop最初是为Unix-like系统设计的。...
【Hadoop】mapred-site.xml 配置详解
康师傅没有眼泪
10-20 1万+
map task在执行到5%的时候就开始为reduce进行申请资源，开始执行reduce操作，reduce可以开始进行拷贝map结果数据和做reduce shuffle操作 -->-- 默认情况下，reduce是全部从磁盘开始读处理数据，如果这个参数大于0，那么就会有一定量的数据被缓存在内存并输送给reduce -->-- JVM 年轻代和老年代比例 新生代占1，老年代占 8，年轻代占整个堆内存的 1/9 -->-- MR AppMaster的Java opts ，默认是-Xmx1024m -->
修改mapred-site.xml配置文件
热门推荐
ViMan1204的博客
04-04 1万+
前言 配置Hadoop的主要5个文件 序号 配置文件名 配置对象 主要内容 1 hadoop-env.sh hadoop运行环境 用来定义hadoop运行环境相关的配置信息 2 core-site.xml 集群全局参数 用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等 3 hdfs-site.xml HDFS 如名称节点和数据节点的存放位置、文件副本的...
Hadoop-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece
最新发布
永远好奇，无限进步！
06-28 1496
上一节顺利完成了基础环境的配置，但是对于Hadoop来说，目前还有一些XML的配置需要我们修改，这样后续才能组装成集群来运行。接下来我们就进行一些XM这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。注意，如果你和我一样，打算用公网部署，那一定要做好防火墙策略，避免不必要的麻烦！！！
hadoop(6)---mapred-site.xml 详解以及常用配置。
weixin_33816946的博客
08-14 630
说明：这是hadoop2.x版本的参数。下面的value都是参数默认值。 常用配置： ♥♥♥ 1.mapreduce.job.hdfs-servers value：${fs.defaultFS} 说明：job客户端参数。 2.mapreduce.task.io.sort.factor value：10 说明：在Reduce Task阶段，排序文件时...
hadoop-mapred-site.xml配置文件详解
xu2414506319的博客
10-17 4021
hadoop-mapred-site.xml配置文件详解 mapred-site.xml配置文件简介 MapReduce配置相关 mapred-site.xml配置 name value description mapreduce.jobtracker.jobhistory.location If job tracker is static the history files are stored in this single well known place. If No val
Hadoop2.7.7 API: mapred-site.xml 解析
张伯毅的专栏
08-13 3025
name 描述 value 备注 mapreduce.jobtracker.jobhistory.location 如果作业跟踪器是静态的，则历史文件存储在这个众所周知的地方。如果此处未设置任何值，则默认情况下，它位于$ {hadoop.log.dir} / history的本地文件系统中。 　 　 mapreduce.jobtracker.jobhis...
docker配置hadoop
09-28
001
hadoop3.3.3-winutils
07-19
hadoop基于linux开发和布署运行，故不能将hadoop环境原始运行在windows上。 操作系统环境差异说明 因为模拟linux环境,所以在linux原生环境中就不需要他了 在windows环境中需要配置 如何配置: 配置到运行环境当前目录...
hadoop-3.4.0.tar.gz
04-22
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File ...
Hadoop大数据开发基础.rar
10-14
文档为PPT，与百度文库里的Hadoop大数据开发基础为一套，里面内容相对比较基础~可做基础学习资料PPT。 【实例截图】 【核心代码】 Hadoop大数据开发基础-PPT课件 └── 37066-Hadoop大数据开发基础-PPT课件 ├── ...
利用ansible 自动 安装Hadoop 集群
05-10
Hadoop作为大数据处理的核心组件，包括HDFS（Hadoop Distributed File System）和MapReduce等模块，构建一个Hadoop集群通常涉及多台服务器的配置、软件安装、服务启动和集群配置。通过Ansible，我们可以简化这个过程...
Hadoop大数据期末考试重点
06-16
《Hadoop大数据期末考试重点详解》 Hadoop大数据技术在当今的数据处理领域占据着重要的地位，其核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，它们共同构成了高效的大数据处理框架。本文将围绕...
Hadoop3.1.3.rar
06-02
Hadoop是Apache软件基金会开发的一个开源分布式计算框架，它的核心设计是处理和存储大量数据的能力。这个名为"Hadoop3.1.3.rar"的压缩包文件包含了Hadoop 3.1.3版本的所有组件和相关文件，使得用户可以下载并进行...
hadoop-3.4.0-aarch64.tar.gz
04-22
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File ...
基于Hadoop的成绩分析系统.docx
06-20
基于Hadoop的成绩分析系统 本文档介绍了基于Hadoop的成绩分析系统的设计和实现。Hadoop是一个分布式开源计算平台，具有高可靠性、高扩展性、高效性和高容错性等特点。该系统使用Hadoop的分布式文件系统HDFS和...
mapred-site.xml 配置详解
muyingmiao的专栏
08-20 5297
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 配置 MapReduce Applications --> <property> <...
mapred-site.xml
a857553315的博客
04-04 818
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 指定 MapReduce 程序运行在 Yarn 上, 默认是local 就是本地模式 --> <property> <name>mapreduce.framework.name</name> .
hadoop环境搭建
yingboling的博客
04-03 508
如果是stdin输入，hdfs的目录必须是全路径。firewall-cmd --zone=public --add-port=10000/tcp --permanent hiveserver2端口。firewall-cmd --zone=public --add-port=2181/tcp --permanent zookeeper端口。firewall-cmd --zone=public --add-port=8020/tcp --permanent HDFS端口。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值