hadoop2.x 完全分布式详细集群搭建

最新推荐文章于 2022-11-27 13:56:40 发布
最新推荐文章于 2022-11-27 13:56:40 发布
阅读量751 收藏 1
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wolvesqun/article/details/52682622
版权

hadoop2.x 完全分布式详细集群搭建

在准备之前说一下本次搭建的各节点角色，进程。

nameNode 进程：NameNode

dataNode  进程：DataNode

resourceManager ：ResourceManager

nodeManeger ： NodeManager

zkfc：DFSZKFailoverController

journalnode： JournalNode

zookeeper： QuorumPeerMain

我的IP:

192.168.79.101 hadoop1

192.168.79.102 hadoop2

192.168.79.103 hadoop3

192.168.79.104 hadoop4

一：准备

1. 修改Linux主机名：

命令：vim /etc/sysconfig/network

HOSTNAME 主机名

2. 修改IP为静态IP:

(第一种方式)

进入图形界面 -> 点击右上角的俩个小电脑图标 -> 右键 -> edit connections -> ipv4 -> manual -> 点击add按钮 -> 添加IP，NETMASK, GATEWAY，如果可以的话建议使用第一种方式。

(第二种通过修改文件)   vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

BOOTPROTO="static"        ###

HWADDR="00:0C:29:3C:BF:E7"

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"

IPADDR="192.168.1.119"    ###

NETMASK="255.255.255.0"   ###

GATEWAY="192.168.1.1"     ###

3. 配置主机名和IP的映射关系，每个机器都是这样一个文件。

命令：vim /etc/hosts

4. 关闭防火墙

service iptables stop

#查看防火墙开机启动状态

chkconfig iptables --list

#关闭防火墙开机启动

chkconfig iptables off

5. 配置各个节点之间的免登陆。

生成ssh免登陆密钥 ： ssh-keygen -t rsa为了简单，一直回车即可。各个节点都执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

我这里以hadoop1 到2,3,4为例。其余各节点操作一样。

将公钥拷贝到要免登陆的机器上

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

或

ssh-copy-id -i hadoop1

将公钥拷贝到其他节点，包括自己(期间会提示输入密码)：

ssh-copy-id -i hadoop1

ssh-copy-id -i hadoop2

ssh-copy-id -i hadoop3

ssh-copy-id -i hadoop4

其他节点同样操作。最后每个机器的 /root/.ssh 中 authorized_keys文件会有四个公钥。

在hadoop1上执行  ssh hadoop2

二： 各节点安装JDK，hadoop，（hadoop1，hadoop2，hadoop3上安装zookeeper），并配置环境变量

1. 上传jdk，hadoop，zookeeper

2. 添加执行权限

3. 解压。我把他们解压到 /usr/local/tools 下

4. 各个节点配置环境变量：

命令： vim /etc/profile

针对我自己的路径,配置如下：

export JAVA_HOME=/usr/local/tools/jdk1.7.0_75

export HADOOP_HOME=/usr/local/tools/hadoop-2.2.0

export ZK_HOME=/usr/local/tools/zookeeper-3.4.5

export CLASSPATH=.:%JAVA_HOME%/lib/dt.jar:%JAVA_HOME%/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZK_HOME/bin

然后执行  source /etc/profile 使其生效。验证，例如执行  java -version

三：配置hadoop

基本要配置4个配置文件，core-site.xml，hdfs-site.xml，yarn-site.xml，mapred-site.xml

1. 配置core-site.xml:

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://ns1</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/hadoop/tmp</value>
	</property>  
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
	</property>
	<property>
		<name>io.file.buffer.size</name>
		<value>131072</value>
	</property>
</configuration>

fs.defaultFS：指定hdfs的nameservice为ns1

hadoop.tmp.dir：指定hadoop临时目录

ha.zookeeper.quorum：指定zookeeper地址

2. 配置hdfs-site.xml

<configuration>
	<property>
		<name>dfs.nameservices</name>
		<value>ns1</value>
	</property>
	<property>
		<name>dfs.ha.namenodes.ns1</name>
		<value>nn1,nn2</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn1</name>
		<value>hadoop1:9000</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.ns1.nn1</name>
		<value>hadoop1:50070</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn2</name>
		<value>hadoop2:9000</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.ns1.nn2</name>
		<value>hadoop2:50070</value>
	</property>
	<property>
			<name>dfs.namenode.shared.edits.dir</name>
			<value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/ns1</value>
	</property>
	<property>
		<name>dfs.ha.automatic-failover.enabled.ns1</name>
		<value>true</value>
	</property>
	<property>
		<name>dfs.client.failover.proxy.provider.ns1</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/usr/local/journal</value>
	</property>
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>
	<property>
		<name>dfs.data.dir</name>
		<value>/usr/local/data</value>
	</property>
	<property>
		<name>dfs.datanode.socket.write.timeout</name>
		<value>0</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
</configuration>

dfs.nameservices： 指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致

dfs.ha.namenodes.ns1：ns1下面有两个NameNode，分别是nn1，nn2

dfs.namenode.rpc-address.ns1.nn1： nn1的RPC通信地址

dfs.namenode.http-address.ns1.nn1： nn1的http通信地址

dfs.namenode.shared.edits.dir：指定NameNode的元数据在JournalNode上的存放位置

dfs.journalnode.edits.dir : 指定JournalNode在本地磁盘存放数据的位置

dfs.ha.automatic-failover.enabled: true是开启NameNode失败自动切换

dfs.client.failover.proxy.provider.ns1：配置失败自动切换实现方式

dfs.ha.fencing.ssh.private-key-files：使用sshfence隔离机制时需要ssh免登陆

3. 配置yarn-site.xml

<configuration>

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

  </property>

 

  <property>

    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

  </property>

 

  <property>

    <name>yarn.nodemanager.local-dirs</name>

    <value>/opt/yarn/hadoop/nmdir</value>

  </property>

 

  <property>

    <name>yarn.nodemanager.log-dirs</name>

    <value>/opt/yarn/logs</value>

  </property>

 

  <property>

    <name>yarn.log-aggregation-enable</name>

    <value>true</value>

  </property> 

 

  <property>

    <description>Where to aggregate logs</description>

    <name>yarn.nodemanager.remote-app-log-dir</name>

    <value>hdfs://ns1/var/log/hadoop-yarn/apps</value>

  </property>

 

  <!-- Resource Manager Configs -->

  <property>

    <name>yarn.resourcemanager.connect.retry-interval.ms</name>

    <value>2000</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.ha.enabled</name>

    <value>true</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>

    <value>true</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>

    <value>true</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.cluster-id</name>

    <value>ns1</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.ha.rm-ids</name>

    <value>rm1,rm2</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.ha.id</name>

    <value>rm1</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.scheduler.class</name>

    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.recovery.enabled</name>

    <value>true</value>

  </property>


  <property>

    <name>yarn.resourcemanager.zk.state-store.address</name>

    <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>

  </property>

 

  <property>

    <name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>

    <value>5000</value>

  </property>

 

  <!-- RM1 configs -->



  <property>

    <name>yarn.resourcemanager.address.rm1</name>

    <value>hadoop1:23140</value>

  </property>



  <property>

    <name>yarn.resourcemanager.scheduler.address.rm1</name>

    <value>hadoop1:23130</value>

  </property>



  <property>

    <name>yarn.resourcemanager.webapp.https.address.rm1</name>

    <value>hadoop1:23189</value>

  </property>



  <property>

    <name>yarn.resourcemanager.webapp.address.rm1</name>

    <value>hadoop1:23188</value>

  </property>


  <property>

    <name>yarn.resourcemanager.resource-tracker.address.rm1</name>

    <value>hadoop1:23125</value>

  </property>



  <property>

    <name>yarn.resourcemanager.admin.address.rm1</name>

    <value>hadoop1:23141</value>

  </property>

 

<!-- RM2 configs -->

 

  <property>

    <name>yarn.resourcemanager.address.rm2</name>

    <value>hadoop2:23140</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.scheduler.address.rm2</name>

    <value>hadoop2:23130</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.webapp.https.address.rm2</name>

    <value>hadoop2:23189</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.webapp.address.rm2</name>

    <value>hadoop2:23188</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.resource-tracker.address.rm2</name>

    <value>hadoop2:23125</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.admin.address.rm2</name>

    <value>hadoop2:23141</value>

 

  </property>

 

<!-- Node Manager Configs -->

  <property>

    <description>Address where the localizer IPC is.</description>

    <name>yarn.nodemanager.localizer.address</name>

    <value>0.0.0.0:23344</value>

  </property>

 

  <property>

    <description>NM Webapp address.</description>

    <name>yarn.nodemanager.webapp.address</name>

    <value>0.0.0.0:23999</value>

  </property>

 

  <property>

    <name>yarn.nodemanager.local-dirs</name>

    <value>/opt/yarn/nodemanager/yarn/local</value>

  </property>

 

  <property>

    <name>yarn.nodemanager.log-dirs</name>

    <value>/opt/yarn/nodemanager/yarn/log</value>

  </property>

 

  <property>

    <name>mapreduce.shuffle.port</name>

    <value>23080</value>

  </property>

 

  <property>

    <name>yarn.resourcemanager.zk-address</name>

    <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>

  </property>
</configuration>

4. 配置mapred-site.xml

<configuration>
  <property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
  </property>
<!-- configure historyserver -->
  <property>
	<name>mapreduce.jobhistory.address</name>
	<value>hadoop4:10020</value>
  </property>
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>hadoop4:19888</value>
</property>
<property>
	<name>mapred.job.reuse.jvm.num.tasks</name>
	<value>-1</value>
</property>
<property>
	<name>mapreduce.reduce.shuffle.parallelcopies</name>
	<value>20</value>
</property>
</configuration>

5. 配置slaves文件

和上述文件在同一个目录中的slaves文件，写入：

hadoop1
hadoop2
hadoop3
hadoop4
四：启动hadoop集群（步骤很重要）

1. 启动zookeeper集群(hadoop1,hadoop2,hadoop3上执行)

执行 ： zkServer.sh start

三个节点都启动后查看状态，一个 leader  两个follower

此时执行jps查看进程，启动了QuorumPeerMain

2. 启动journalnode (hadoop1,hadoop2,hadoop3上执行)

执行： hadoop-daemon.sh start journalnode

此时查看进程，多了JournalNode进程

3. 格式化HDFS(hadoop1上执行)

执行： hdfs namenode -format

4. 格式化ZK

执行：hdfs zkfc -formatZK

5. 启动hadoop1的namenode，zkfc

执行： hadoop-daemon.sh start namenode   ， hadoop-daemon.sh start zkfc

此时查看进程，zkfc，namenode都启动了。

6. hadoop2上数据同步格式化的hadoop1上的hdfs

执行： hdfs namenode -bootstrapStandby

然后同hadoop1一样启动namenode和zkfc。

7. 启动HDFS：

执行：start-dfs.sh

8. 启动YARN

执行：start-yarn.sh

9. hadoop4上启动 JobHistoryServer

执行： mr-jobhistory-daemon.sh start historyserver

现在全部启动好了。然后看看各节点功能和进程是否对应启动好。

至此。都已启动好。可通过浏览器访问：

1. http://192.168.79.101:50070

NameNode 'hadoop1:9000' (standby)

2.   http://192.168.79.102:50070

NameNode 'hadoop2:9000' (active)

3. http://192.168.79.104:19888/

4. http://192.168.79.102:8088/

五. 验证

1. 验证hdfs HA

首先向hdfs上传一个文件：    hadoop fs -put /usr/local/soft/jdk-7u75-linux-x64.gz /soft

然后查看： hadoop fs -ls /

然后再kill掉active的NameNode。然后浏览器访问 看到  hadoop1变成active的了。

在执行命令：hadoop fs -ls /

文件还在。然后再启动刚才停掉的namenode 。然后访问，变成standby的了。

2. 验证YARN

运行一下hadoop提供的demo中的WordCount程序：

自己写了个word.txt  写入几个单词测试 :

hello jerry

hello tom

hello world

上传word.txt 到hdfs：  hadoop fs -put /home/word.txt /input

然后运行： hadoop jar /usr/local/tools/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input /out

成功后查看:  按照自己的目录，我的命令是写入到out 目录 。

OK,至此就完成hadoop学习的第一课了。


wolvesqun
关注
专栏目录
Hadoop3.x完全分布式搭建（详细）
「 虚幻私塾」
03-10 2477
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 环境准备 vm虚拟机（自行安装Centos7系统） hadoop3.x安装包（linux版本） java1.8安装包（linux版本） 为了能够按照教程顺利操作，需要注意几点细节 不要不看文字直接复制粘贴 操作命令的用户很重要，否则后续会引发关于权限的问题 ftp 与 终
20210823-基于centos7搭建hadoop3.X完全分布式集群
u013531477的博客
08-31 536
#关键字：CentOS7、hadoop/hadoop3/hadoop3.0/hadoop3.x完全分布式集群 一、目标： 1、基于hadoop3在虚拟机上搭建3个节点的hadoop完全分布式集群。 2、集群部署规划： 主机名 服务名 hadoop3 hadoop4 hadoop5 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN ...
大数据 hadoop完全分布4台搭建全过程
04-06
这是我自己一步一步搭建的过程，4台虚拟机 双namenode 涉及 ftp zookeper hadoop,等每一步就是测试过的
hadoop2.x 完全分布式详细集群搭建(图文：4台机器)
aass123456232的博客
11-03 340
在准备之前说一下本次搭建的各节点角色，进程。 nameNode 进程：NameNode dataNode进程：DataNode resourceManager ：ResourceManager nodeManeger ： NodeManager zkfc：DFSZKFailoverController journalnode： JournalNode zookeep...
一、Hadoop2.x完全分布式集群搭建
weixin_42499506的博客
12-26 193
实验环境规划 192.168.1.101 cmaster0 192.168.1.102 cslave0 192.168.1.103 cslave1 三台服务器都是安装的CentOS6.8操作系统 配置/etc/hosts [root@cmaster0 ~]# vi /etc/hosts 192.168.1.101 cmaster0 192.168.1.102 cslave0 192.16...
HADOOP搭建直到搭建完成的所有过程（四台虚拟机）
qq_42059349的博客
04-25 566
/etc/init.d/sshd status查看ssh运行状态 uname -a Ping www.baidu.com查看网络状态是否连接 ctrl + c 强制退出 cat /proc/cpuinfo | grep physical | sort -n | uniq | wc -l CPU dmidecode -s system-product-name ...
Hadoop2.x完全分布式配置详解
浮生若梦
03-25 3643
Hadoop2.x 完全分布式集群配置
最简hadoop3.x完全分布式集群搭建
qzcsu的博客
03-12 3761
环境准备 三台 Linux centos 7机器，本例中使用 vmware 创建三台虚拟机作为替代 基于1，电脑需要安装好 vmware 软件，需要使用 secureCRT 登录Linux机器方便操作 准备好 jdk 8 和 hadoop-3.1.2 安装包 效果描述 最后的集群为一个三台机器的 hadoop 集群，其中数据结点（DataNode）和计算结点（NodeManager）分布在...
Hadoop2.x完全分布式环境搭建及测试验证
ttjay000的博客
07-23 368
Hadoop2.x完全分布式环境搭建及测试验证 前置条件： [1]已制作好CentOS虚拟机模板。 [2] 该模板安装好Oracle JDK，且JAVA_HOME值为/usr/java/jdk1.8.0_171-amd64/jre。 准备三台虚拟机 [1] 搭建完全Hadoop...
Hadoop2.x完全分布式+HA环境搭建及测试验证
qq_15625193的博客
01-21 338
前置条件： [1]已制作好CentOS虚拟机模板。 [2] 该模板安装好Oracle JDK，且JAVA_HOME值为/usr/java/jdk1.8.0_171-amd64/jre。 CentOS模板安装可参考我的博客：https://blog.csdn.net/gobitan/article/details/80993354 准备三台虚拟机 [1] 搭建完全Hadoop分布式+HA最少需要三台服务器，假设三台服务器的IP地址如下： 192.168.159.200 hadoop01...
Hadoop2.6集群环境搭建（HDFS HA+YARN）
02-12
1、笔记本4G内存 ，操作系统WIN7 （屌丝的配置） 2、工具VMware Workstation 3、虚拟机：CentOS6.4共四台 每台机器：内存512M，硬盘40G，网络适配器：NAT模式 边看边操作 (本人原创)
【大数据】CentOS7.6+Hadoop3.1四台机器高可用HA搭建
debimeng
04-02 652
HA高可用搭建 规划： NN-1 NN-2 DN ZK ZKFC JNN node01 y y y node02 y y y y y node03 ...
hadoop2.6版本集群环境搭建
stark_summer
01-05 419
一、环境说明 1、机器：一台物理机 和一台虚拟机 2、linux版本：[spark@S1PA11 ~]$ cat /etc/issueRed Hat Enterprise Linux Server release 5.4 (Tikanga) 3、JDK:[spark@S1PA11 ~]$ java -versionjava version "1.6.0_27"Java(TM) SE Run...
hadoop2.x完全分布式集群搭建
qq_44125155的博客
09-22 642
hadoop2完全分布式配置
大数据之快速搭建hadoop2.6集群指南
最新发布
bobo now~
11-27 173
大数据之快速搭建hadoop2.6集群指南
Hadoop2.x部署之完全分布式集群环境搭建
不清不慎的博客
03-31 1946
一、分布式部署概述 Hadoop环境的搭建有三种方式： 本地环境搭建 伪分布式环境搭建 完全分布式环境搭建集群 在前面的文章中，详细描述了如何搭建本地环境【https://blog.csdn.net/qq_37142346/article/details/78927584】及伪分布式环境【https://blog....
4台虚拟机实现高可用Hadoop集群步骤
逐鹿
09-26 1538
目录 一、集群安装 1、软件版本选择 2、机器配置 1）4台机器分配 2）修改hosts 3）免密登录 3、软件安装 1）安装jdk 2）安装zookeeper 3）安装hadoop 4）小结 二、启动集群 1、启动zookeeper 2、启动hadoop 1）启动journalnode进程初始...
3台机器配置hadoop集群_史上最详细虚拟机搭建Hadoop高可用集群操作
weixin_39791225的博客
11-21 1598
一、集群规划二、安装包下载1、jdk 版本：1.8wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b660...
hadoop2.6.0分布式集群搭建（详细），搭建es-hadoop
shakalaka1的博客
09-25 6624
hadoop分布式集群的搭建，es-hadoop的搭建
Hadoop 3.x高可用HA集群安装指南
"Hadoop高可用HA集群3.x以上版本安装，包括4节点的完全分布式配置，涉及组件有zookeeper、Kafka、mysql、Hive、Spark等。文档提供了网络配置信息，如IP地址、子网掩码、网关和DNS，并列出了服务器的硬件信息，包括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值