CentOS7下基于Hadoop2.7.3集群搭建

最新推荐文章于 2022-08-16 14:52:06 发布
最新推荐文章于 2022-08-16 14:52:06 发布
阅读量594 收藏 1
点赞数 1
分类专栏： hadoop集群搭建 文章标签： CentOS7 Hadoop 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunggff/article/details/64126591
版权

一、准备工作

1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系
4.关闭防火墙
5.ssh免登陆 
6.安装JDK，配置环境变量等

7.集群规划：

主机名 IP 所需安装工具 运行进程

hadoop01 220.192.10.10 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

hadoop02 220.192.10.11 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

hadoop03 220.192.10.12 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

hadoop04 220.192.10.13 jdk、hadoop NameNode、DFSZKFailoverController

hadoop05 220.192.10.14 jdk、hadoop NameNode、DFSZKFailoverController

hadoop06 220.192.10.15 jdk、hadoop ResourceManager

hadoop07 220.192.10.16 jdk、hadoop ResourceManager

二、安装

1.在hadoop01上安装并配置zookeeper

1.1 解压zookeeper-3.4.9.tar.gz tar  -zxvf zookeeper-3.4.9.tar.gz /hadoop

2.2 进入到conf目录（cd /hadoop/zookeeper-3.4.9/conf/）,修改zoo_sample.cfg文件：mv  zoo_sample.cfg zoo.cfg ;vi zoo.cfg

修改dataDir=/hadoop/zookeeper-3.4.9/data，在最后添加

server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888

保存后退出，创建tmp文件夹：mkdir  /hadoop/zookeeper-3.4.9/tmp ,在创建一个空文件：touch  /hadoop/zookeeper-3.4.9/tmp/myid,在myid文件夹中写入ID：1

2.将配置好的zookeeper拷贝到hadoop02、hadoop03上

scp -r /hadoop/zookeeper-3.4.9 hadoop02:/hadoop/

scp -r /hadoop/zookeeper-3.4.9 hadoop03:/hadoop/

修改tmp目录下的myid文件：vi myid，在hadoop02上将1改成2，在hadoop03上改成3,wq保存退出.

3.在hadoop01上安装配置hadoop2.7.3

3.1 解压到hadoop目录下：tar -zxvf hadoop-2.7.3.tar.gz /hadoop

3.2 配置环境变量：

export JAVA_HOME=/usr/java/jdk1.8.0_112
export HADOOP_HOME=/hadoop/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.3 进入hadoop的etc目录修改配置文件：cd /hadoop/hadoop-2.7.3/etc/hadoop/

3.3.1   修改hadoop-env.sh : export JAVA_HOME=/usr/java/jdk1.8.0_112

3.3.2   修改core-site.xml
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/hadoop-2.7.3/tmp</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
</configuration>

3.3.3   修改hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>hadoop04:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>hadoop04:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>hadoop05:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>hadoop05:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop01:8485;hadoop02;hadoop03:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/hadoop/hadoop-2.7.3/journal</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

3.3.4   修改mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

3.3.5   修改yarn-site.xml
<configuration>
<!-- 开启RM高可靠 -->
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>hadoop06</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>hadoop07</value>
</property>
<!-- 指定zk集群地址 -->
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
</configuration>

3.3.6   修改slaves:slaves是指定子节点的位置，因为要在hadoop04上启动HDFS、在hadoop06启动yarn，所以hadoop04上的slaves文件指定的是datanode的位置，hadoop06上的slaves文件指定的是nodemanager的位置.
vi slaves

hadoop01

hadoop02

hadoop03

3.3.7   配置免密码登陆:在本机生成密钥：ssh-keygen -t rsa

将生成的公钥拷贝到其他节点上：

ssh-copy-id hadoop01

ssh-copy-id hadoop02

ssh-copy-id hadoop03

ssh-copy-id hadoop04

ssh-copy-id hadoop05

ssh-copy-id hadoop06

ssh-copy-id hadoop07

同样步骤在hadoop04，hadoop06上执行。

将hadoop04的公钥拷贝到hadoop05上，将hadoop06的公钥拷贝到hadoop01，hadoop02，hadoop03，hadoop07上。

3.4 将配置好的hadoop拷贝到其他节点

scp    -r    /hadoop/hadoop-2.7.3 hadoop02:/hadoop/

scp    -r    /hadoop/hadoop-2.7.3 hadoop03:/hadoop/

scp    -r    /hadoop/hadoop-2.7.3 hadoop04:/hadoop/

scp    -r    /hadoop/hadoop-2.7.3 hadoop05:/hadoop/

scp    -r    /hadoop/hadoop-2.7.3 hadoop06:/hadoop/

scp    -r    /hadoop/hadoop-2.7.3 hadoop07:/hadoop/

3.5 启动zookeeper集群（分别在hadoop01、hadoop02、hadoop03上启动zk）
cd /hadoop/zookeeper-3.4.9/bin/
./zkServer.sh start
#查看状态：一个leader，两个follower
./zkServer.sh status


3.6 启动journalnode（分别在hadoop01、hadoop02、hadoop03上执行）
cd /hadoop/hadoop-2.7.3/sbin

执行：hadoop-daemon.sh start journalnode

运行jps：在hadoop01、hadoop02、hadoop03上多了JournalNode进程

3.7 格式化HDFS

在hadoop04上执行：hdfs namenode -format 将生成的tmp文件拷贝给hadoop05：scp -r tmp/ hadoop05:/hadoop/hadoop2.7.3

3.8 格式化ZK(在hadoop04上执行即可)
hdfs zkfc -formatZK

3.9 启动HDFS(在hadoop04上执行)
sbin/start-dfs.sh

3.10 启动YARN(注：是在hadoop06上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，

所以把他们分开了，他们分开了就要分别在不同的机器上启动)

start-yarn.sh

  4. 测试

4.1 在浏览器中输入：220.192.10.13:50070

220.192.10.14:50070


4.2 验证HDFS HA

首先向hdfs上传一个文件
hadoop fs -put /etc/profile /profile
hadoop fs -ls /
然后再kill掉active的NameNode
kill -9 2402

通过浏览器访问：220.192.10.13:50070，若状态变为active，且上传的文件还在，则说明配置正确。

将hadoop05的namenode手动启动：hadoop-daemon.sh start namenode

通过浏览器访问：220.192.10.14:50070，状态变为standby。


sunggff
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop2.7.3完全分布式集群搭建
RiverCode的博客
04-25 3943
hadoop-2.7.3完全分布式集群搭建
hadoop2.7.3集群安装配置
u010738061的专栏
07-16 400
1、前期装备工作              a、安装虚拟机，分别配置四台centos6.5的虚拟机（这过程可以百度）。              b、安装好之后配置ssh免密码登陆（问：为何要配置免密登陆？答：因为hadoop各个节点之间要通信，所以要配置免密码登陆）                    执行命令生产公钥和密钥:
Hadoop-2.7.3完全分布式集群搭建（Centos7系统）
m0_54853420的博客
08-16 419
使用ssh协议连接时，会寻找authorized_keys文件中存放的公钥，如果有目标主机的公钥则将公钥传给目标主机，目标主机用自己的私钥和公钥进行匹配，正确匹配之后则认为两者可信，即不需要密码就可以登录。在每台主机上输入 ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa 创建一个无密码的公钥，-t是类型的意思，dsa是生成的密钥类型，-P是密码，’’表示无密码，-f后是秘钥生成后保存的位置。如果没有，可以使用传输工具进行传输，例如xshell或其他工具，记下文件的位置。..
扫盲：Hadoop分布式文件系统（HDFS）基础概念讲解！
weixin_34275734的博客
08-10 232
无论你如何将Hadoop与Spark进行对比，无论Spark生态多么成熟和完善，其底层终归要基于HDFS，毕竟这是目前最成熟的分布式底层文件系统，几乎没有哪家公司愿意重新花费精力研发一个全新的文件系统。本文将讨论Hadoop分布式文件系统（HDFS）的基本概念以及管理HDFS的十大Hadoop Shell命令。HDFS是Apache Hadoop框架的底层文件系统，是一个分布式存储框架，跨越数千种...
hdfs是nas_hadoop-HDFS-HA的详解
weixin_39939993的博客
12-19 154
1 Hadoop 系统架构1.1 Hadoop1.x和Hadoop2.x 架构在介绍HA之前，我们先来看下Hadoop的系统架构，这对于理解HA是至关重要的，Hadoop1.x之前，其官方架构如图1所示:[ 图1.Hadoop 1.x架构图 ]从图中可看出，1.x版本之前只有一个Namenode,所有元数据由惟一的Namenode负责管理,可想而之当这个NameNode挂掉时整个集群基本也就不可用...
centos7 安装 hadoop 2.7.3集群.docx
09-19
centos7 安装 hadoop 2.7.3集群.docx
hadoop2.7.3搭建教程_使用vm、centos7
12-14
在本教程中，我们将深入探讨如何使用VMware和CentOS7操作系统来搭建Hadoop 2.7.3集群。Hadoop是Apache软件基金会的一个开源框架，主要用于存储和处理大规模数据，尤其适合处理和分析分布式系统中的海量数据。通过...
centos7+hadoop2.7.3+jdk1.8
11-01
本文将详细讲解如何在CentOS7上安装Hadoop2.7.3和JDK1.8，以及相关配置步骤。 首先，我们需要确保系统主机名正确设置，这对于集群中的节点间通信至关重要。在CentOS7中，可以通过以下步骤修改主机名： 1. 使用`vi`...
利用虚拟机搭建Hadoop伪集群(基于centos7)
10-17
利用虚拟机搭建Hadoop伪集群(基于centos7),usr 下有 java 和 hadoop两个文件夹,分别解压对应的文件,jdk 的版本是1.8.0_141,hadoop的版本是2.7.3
centos7_hadoop2.7.3_编译所需工具
04-17
在centos7下编译hadoop2.7.3所需工具：apache-ant-1.9.4-bin.tar.gz、apache-maven-3.3.3-bin.tar.gz、findbugs-3.0.1.tar.gz、hadoop-2.7.3-src.tar.gz、protobuf-2.5.0.tar.gz
Hadoop HDFS高可用（HA）
Spring , Hadoop, Spark , BI , ML
07-19 5974
版本记录： 2016-07-19 凌晨 初稿 在Hadoop 1.x 中，Namenode是集群的单点故障，一旦Namenode出现故障，整个集群将不可用，重启或者开启一个新的Namenode才能够从中恢复。值得一提的是，Secondary Namenode并没有提供故障转移的能力。集群的可用性受到影响表现在： 当机器发生故障，如断电时，管理员必须重启Namenode才能恢复可用。 在日常的维护升级
分布式文件系统Hadoop、GoogleFS、RAID介绍
moshengtan的专栏
09-27 5942
一、Hadoop         Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。         和MYS
Hadoop 基础知识---之HDFS篇
bigdata_player的博客
07-17 5478
HDFS基础知识 HDFS简介 起源       源于Google发布的GFS论文 HDFS是Hadoop DistributeFile System 的简称，是Hadoop的一个分布式文件系统。 设计目标 大文件存储：支持TB-PB级的数据量 高容错：运行在商业硬件上，而商业硬件并不可靠 高吞吐量：为大量数据访问的应用提供高吞吐量支持 适应场景： 大文件访问 流式数据
NAS实现类型对比：统一式、网关式和横向扩展式（Scale-out）
raindaysps的专栏
10-21 3304
NAS主要有三种类型的实现：统一式、网关式和横向扩展式（Scale-out）。统一NAS使用统一的存储平台将基于NAS和基于SAN的数据访问合并，提供了可以同时管理二种环境的统一管理界面。网关NAS使用外部存储来存取数据，网关NAS和存储的管理操作是分开的。横向扩展式（Scale-out）NAS可组合多个节点，形成一个集群NAS系统。本文将对比三种不同NAS实现类型。 统一NAS 统一
Hadoop发行版的比较与选择
cqupt_augusting1的专栏
03-11 1284
大部分的内容转载于http://yangshangchuan.iteye.com/blog/1972846 Hadoop的发行版除了社区的Apache Hadoop外，Cloudera，Hortonworks，MapR，EMC，IBM，Intel，华为等都提供了自己的商业版本。商业版主要是提供了专业的技术支持，这对一些大型企业尤其重要。每个发行版都有自己的一些特点，本文就各个发行版做简单
hdfs是nas_Hadoop并非完美：8个代替 HDFS 的绝佳方案
weixin_39717318的博客
12-19 490
HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，坦白说HDFS是一个不错的分布式文件系统，它有很多的优点，但也存在有一些缺点，包括：不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。Apache软件基金会成立的时候，HDFS就一直在想办法提高它的性能和可用性，坦白说，这也许对试点项...
Hadoop各商业发行版之比较
aizongmao2539的博客
10-28 824
　Hadoop的发行版除了社区的Apache hadoop外，cloudera，hortonworks，mapR，EMC，IBM，INTEL，华为等等都提供了自己的商业版本。商业版主要是提供了专业的技术支持，这对一些大型企业尤其重要。每个发行版都有自己的一些特点，本文就各发行版做简单介绍。 　　2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司，为合作伙伴提供 H...
如何在CentOS 7上搭建Hadoop 3.3.1集群？
最新发布
04-28
搭建Hadoop集群的步骤如下： 1. 安装Java 首先需要安装Java，Hadoop需要Java环境才能运行。可以使用以下命令安装Java： ``` sudo yum install java-1.8.0-openjdk-devel ``` 2. 下载Hadoop 从官方网站下载Hadoop 3.3.1版本，然后解压到目录中。可以使用以下命令： ``` wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz tar -zxvf hadoop-3.3.1.tar.gz sudo mv hadoop-3.3.1 /usr/local/hadoop ``` 3. 配置Hadoop环境变量 编辑`/etc/profile`文件，添加以下内容： ``` export HADOOP_HOME=/usr/local/hadoop export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin ``` 然后执行以下命令使配置生效： ``` source /etc/profile ``` 4. 配置Hadoop集群 在Hadoop集群中，需要指定一个节点作为NameNode，其他节点作为DataNode。可以在`/usr/local/hadoop/etc/hadoop`目录下找到`core-site.xml`和`hdfs-site.xml`两个配置文件，进行以下修改： 在`core-site.xml`文件中添加以下内容： ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://namenode:9000</value> </property> </configuration> ``` 其中，`namenode`是NameNode节点的主机名或IP地址。 在`hdfs-site.xml`文件中添加以下内容： ``` <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value> </property> </configuration> ``` 其中，`dfs.replication`指定了数据备份数量，`dfs.namenode.name.dir`和`dfs.datanode.data.dir`指定了NameNode和DataNode的数据存储路径。 5. 配置YARN YARN是Hadoop的资源管理器，需要进行相应的配置。可以在`/usr/local/hadoop/etc/hadoop`目录下找到`yarn-site.xml`文件，进行以下修改： ``` <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>resourcemanager</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` 其中，`yarn.resourcemanager.hostname`指定了ResourceManager节点的主机名或IP地址。 6. 启动Hadoop集群 按照以下顺序启动Hadoop集群： ``` start-dfs.sh start-yarn.sh ``` 7. 验证Hadoop集群 可以通过访问以下网址来验证Hadoop集群是否正常运行： ``` http://namenode:9870/dfshealth.html http://resourcemanager:8088/cluster ``` 其中，`namenode`和`resourcemanager`分别是NameNode和ResourceManager节点的主机名或IP地址。 以上就是在CentOS 7上搭建Hadoop 3.3.1集群的步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值