hadoop搭建完全分布式集群

最新推荐文章于 2022-03-09 09:28:54 发布
最新推荐文章于 2022-03-09 09:28:54 发布
阅读量94 收藏
点赞数
分类专栏： 笔记 文章标签： hadoop linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xu2414506319/article/details/109136204
版权

hadoop搭建完全分布式集群

写在之前

已经安装好zookeeper集群

已经安装好jdk，并配置好了环境变量

准备三台机器（最小集群）

hadoop节点配置

hadoop1

zookeeper

NameNode (active)

Resourcemanager (active)

DataNode

NodeManager

JournalNode

hadoop2

zookeeper

NameNode (standby)

Resourcemanager (standby)

DataNode

NodeManager

JournalNode

hadoop3

zookeeper

DataNode

NodeManager

JournalNode

安装
永久关闭防火墙 6

执行：service iptables stop

再次执行：chkconfig iptables off

为每台机器配置主机名以及hosts文件

vim /etc/sysconfig/network

然后执行 hostname 主机名=“主机名” 达到不重启生效目的

host文件示例

192.168.234.21 hadoop01

192.168.234.22 hadoop02

192.168.234.23 hadoop03

192.168.234.24 hadoop04

192.168.234.25 hadoop05

192.168.234.26 hadoop06

将配置好的host文件远程复制到其他机器

scp /etc/hosts root@ip:/etc

为每台机器配置ssh免秘钥登录

执行：ssh-keygen

ssh-copy-id root@hadoop1 （分别发送到3台节点上）

具体centos集群下的ssh免密登录

安装和配置01节点的hadoop

配置hadoop-env.sh

进入hadoop安装目录下的etc/hadoop目录

vim hadoop-env.sh

配置jdk安装所在目录

配置hadoop配置文件所在目录

配置core-site.xml
<configuration>
<!--用来指定hdfs的老大，ns为固定属性名，表示两个namenode-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value>
</property>
<!--用来指定hadoop运行时产生文件的存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop-2.7.1/tmp</value>
</property>
<!--执行zookeeper地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
</configuration>
配置01节点的hdfs-site.xml
<configuration>
<!--执行hdfs的nameservice为ns,和core-site.xml保持一致-->
<property>
<name>dfs.nameservices</name>
<value>ns</value>
</property>
<!--ns下有两个namenode,分别是nn1,nn2-->
<property>
<name>dfs.ha.namenodes.ns</name>
<value>nn1,nn2</value>
</property>
<!--nn1的RPC通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns.nn1</name>
<value>hadoop01:9000</value>
</property>
<!--nn1的http通信地址-->
<property>
<name>dfs.namenode.http-address.ns.nn1</name>
<value>hadoop01:50070</value>
</property>
<!--nn2的RPC通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns.nn2</name>
<value>hadoop02:9000</value>
</property>
<!--nn2的http通信地址-->
<property>
<name>dfs.namenode.http-address.ns.nn2</name>
<value>hadoop02:50070</value>
</property>
<!--指定namenode的元数据在JournalNode上的存放位置,这样，namenode2可以从jn集群里获取
     最新的namenode的信息，达到热备的效果-->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/ns</value>
</property>
<!--指定JournalNode存放数据的位置-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/software/hadoop-2.7.1/journal</value>
</property>
<!--开启namenode故障时自动切换-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!--配置切换的实现方式-->
<property>
<name>dfs.client.failover.proxy.provider.ns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--配置隔离机制-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!--配置隔离机制的ssh登录秘钥所在的位置-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
 
<!--配置namenode数据存放的位置,可以不配置，如果不配置，默认用的是
     core-site.xml里配置的hadoop.tmp.dir的路径-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/software/hadoop-2.7.1/tmp/namenode</value>
</property>
<!--配置datanode数据存放的位置,可以不配置，如果不配置，默认用的是
          core-site.xml里配置的hadoop.tmp.dir的路径-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/software/hadoop-2.7.1/tmp/datanode</value>
</property>
 
<!--配置block副本数量-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--设置hdfs的操作权限，false表示任何用户都可以在hdfs上操作文件-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
 
</configuration>
配置mapred-site.xml
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
配置yarn-site.xml
<configuration>
 <!-- 开启YARN HA --> 
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
 
  <!-- 指定两个resourcemanager的名称 --> 
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
 
<!-- 配置rm1，rm2的主机 --> 
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop01</value>
</property>
 
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop03</value>
</property>
 
<!--开启yarn恢复机制-->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
 
<!--执行rm恢复机制实现类-->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
 
<!-- 配置zookeeper的地址 -->  
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
<description>For multiple zk services, separate them with comma</description>
</property>
 
<!-- 指定YARN HA的名称 -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarn-ha</value>
</property>
 
<property>
<!--指定yarn的老大 resoucemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hadoop03</value>
</property>
<property>
<!--NodeManager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
配置slaves文件
hadoop04
hadoop05
hadoop06
配置hadoop的环境变量（可不配）
JAVA_HOME=java安装路径
HADOOP_HOME=hadoop安装路径
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME PATH CLASSPATH HADOOP_HOME
根据配置文件创建相应目录

在hadoop-2.7.1目录下创建:

①journal目录

②创建tmp目录

③在tmp目录下，分别创建namenode目录和datanode目录

使用scp命令将hadoop文件夹copy到其他两台机器

比如copy到hadoop2

scp hadoop root@hadoop2:/home/software

启动集群
启动zookeeper集群

在Zookeeper安装目录的bin目录下执行：sh zkServer.sh start

格式化zookeeper

在zk的leader节点上执行：

hdfs zkfc -formatZK，这个指令的作用是在zookeeper集群上生成ha节点（ns节点）

使用 zkServer.sh status可以查看zookeeper的状态

后面的启动步骤可以用一步来代替,进入hadoop安装目录的sbin目录，执行：start-dfs.sh 。但建议还是按部就班来执行，比较可靠。

启动journalnode集群

在01、02、03节点上执行：

切换到hadoop安装目录的bin目录下，执行：

sh hadoop-daemon.sh start journalnode

然后执行jps命令查看

出现 Journalnode则启动成功

格式化01节点的namenode

在01节点上执行：

hadoop namenode -format

启动01节点的namenode

在01节点上执行：

hadoop-daemon.sh start namenode

把02节点的 namenode节点变为standby namenode节点

在02节点上执行：

hdfs namenode -bootstrapStandby

启动02节点的namenode节点

在02节点上执行：

hadoop-daemon.sh start namenode

在01,02,03节点上启动datanode节点

在01,02,03节点上执行： hadoop-daemon.sh start datanode

如果不能成功启动,删除掉hadoop安装目录下的tmp/datanode下的VERSI目录

启动zkfc（启动FalioverControllerActive)

在01,02节点上执行：

hadoop-daemon.sh start zkfc

在01节点上启动 主Resourcemanager

在01节点上执行：start-yarn.sh

启动成功之后02,03节点应该都有nodemanager 的进程

可以使用jps命令查看

检查安装情况

打开浏览器输入:http://192.168.234.21:50070，查看namenode的信息，是active状态的

02节点应该是standby状态的

查看yarn的管理地址http://192.168.234.21:8088（节点01的8088端口）

能成功访问这三个页面并且一个hadoop状态为active另外一个为standby就代表着hadoop完全分布式集群已经搭建成功

许喜朝
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop集群安装及测试
Jay7925417的博客
06-03 1386
在低配置虚拟机环境下测试安装hadoop集群环境。1、集群实现准备1.1 集群实现思路1.2 虚拟机配置建议配置：1G内存，2个CPU由于测试机器配置有限，实际设置4台虚拟机，每台分配245M内存，1个CPU1.3 集群节点分配为避免单点故障，NameNode 、ResourceManager均配置热备节点Park01 Zookeeper  NameNode (active)ResourceMan...
Hadoop集群的搭建——完全分布式的安装配置（6节点）
咕噜君的博客
04-12 1729
Hadoop集群的搭建 节点分布的分析 下图是一个典型的HA集群架构图，通过简单分析可以看出，NameNode会被配置在两台独立的机器上（图中两个FailoverController作为NN）。在任何时间上，一个NameNode处于活动状态（图中FailoverController——Active），而另一个NameNode处于备份状态（图中FailoverController—...
Hadoop简介及安装
weixin_43519014的博客
01-21 452
简介 Hadoop是Apache的顶级项目，是一个可靠的、可扩展的、分布式计算的开源项目。 创始人：Doug Cutting 和Mike Hadoop起源： 2004年Doug Cutting和Mike Cafarella在设计搜索引擎Nutch的时候 ，利用通用爬虫爬取了互联网上的数据，获取了大概10亿个网页数据 ，因为互联网的数据大多数是非结构化的，就意味着这些数据无法存储到数据库中。为了解...
hadoop完全分布式搭建
while false
06-08 235
之前的文章都是伪分布式的hadoop集群搭建，而完全分布式集群搭建可以在之前伪分布式的基础上进行修改，但是下面介绍的是完全从零开始搭建的 首先要搭建完全分布式集群，至少要三台机器，这里使用的是三台虚拟机，然后进行规划，例如namenode,resourcemanager要放在哪台机器上，下面是我的三台机器的规划 机器一:          静态ip:192.168.157.110：nameno...
hadoop完全分布式集群搭建
m0_46589706的博客
05-18 412
序：相关软件 一、前期准备 二、jdk，hadoop安装、配置 2.1、jdk、hadoop安装 2.2、配置jdk、hadoop环境变量 三、编写集群分发脚本，完成其他服务器的jdk、hadoop安装与配置 四、集群配置规划 五、完全分布式属性配置 5.1、core-site.xml 5.2、hdfs-site.xml 5.3、yarn-site.xml 5.4、mapred-site.xml 5.5、workers 5.6、集群配置同步 六、ssh无密登录配置 七、集群启动
Hadoop搭建完全分布式集群
12-11
Hadoop搭建完全分布式集群
hadoop2.8.4完全分布式集群搭建
07-22
本人搭建hadoop完全分布式集群时，写的文档，内有详细步骤，
Hadoop搭建完全分布式集群.docx
12-11
该资源描述了在Linux系统下搭建Hadoop分布式集群的步骤，其中包含搭建步骤的详细解说以及有关hadoop组件的下载地址等信息
Hadoop2完全分布式集群搭建
08-26
"Hadoop2完全分布式集群搭建" Hadoop2是一个基于分布式计算的开源大数据处理框架，具有高可扩展性、可靠性和高性能等特点。下面是关于Hadoop2完全分布式集群搭建的知识点总结： 1. 前序 在搭建Hadoop2完全分布式...
mybatis-plus实现增删改查
xu2414506319的博客
07-07 6403
mybatis-plus实现增删改查 QueryWrapper 在开始操作之前先了解一下QueryWrapper QueryWrapper(LambdaQueryWrapper) 和 UpdateWrapper(LambdaUpdateWrapper) 的父类 用于生成 sql 的 where 条件, entity 属性也用于生成 sql 的 where 条件 常用的条件构造器 eq:等于 like:模糊查询 ne:不等于 gt:大于 lt:小于 更多条件构造器可以参考官网文档 添加依赖 <depe
ES-DSL查询
xu2414506319的博客
03-09 6090
DSL查询 DSL查询分类 查询所有：查询出所有数据（match_all） 全文检索：利用分词器对用户输入内容分词，然后去倒排索引库中匹配 match_query multi_match_query 精确查询:根据精确词条值查找数据，一般是查找keyword,数值，boolean等字段 ids range Term 地理查询:根据经纬度查询 Geo_distance Get_bounding_box 复合查询：复合查询可以将上述各种查询条件组合起来，合并查询条件 boool function_
javaList集合的两种赋值方式
xu2414506319的博客
02-05 5802
写在之前 在开发中难免会有entity,vo,dto之间的转换那么如何优雅快速的进行转换呢？当然你可以get在set显然不推荐这样做！ 对象转换 使用BeanUtils工具类copyProperties方法 像这样 //将merchantDTO赋值给entity(相同的属性) BeanUtils.copyProperties(merchantDTO,entity); 使用mapstruct转换 首先在项目中引入依赖 <!-- MapStruct代码生成器，对象转换 -->
hadoop-yarn-site.xml配置文件详解
xu2414506319的博客
10-17 5347
hadoop-yarn-site.xml配置文件详解 yarn-site.xml配置文件简介 yarn配置相关 yarn-site.xml配置 name value description yarn.ipc.client.factory.class Factory to create client IPC classes. yarn.ipc.serializer.type protocolbuffers Type of serialization to use. yarn.
hadoop-core-site.xml配置文件详解
xu2414506319的博客
10-17 4658
hadoop配置文件:core-site.xml详解 core-site.xml配置文件介绍 HDFS和MapReduce常用的I/O设置等 core-site.xml配置文件 Hadoop2.0版本的core-site.xml name description value hadoop.tmp.dir A base for other temporary directories. 只可以设置一个值；建议设置到一个足够空间的地方，而不是默认的/tmp下 服务端参数，修改需重启 /tm
hadoop-mapred-site.xml配置文件详解
xu2414506319的博客
10-17 3890
hadoop-mapred-site.xml配置文件详解 mapred-site.xml配置文件简介 MapReduce配置相关 mapred-site.xml配置 name value description mapreduce.jobtracker.jobhistory.location If job tracker is static the history files are stored in this single well known place. If No val
Layui解决table日期的格式化问题
xu2414506319的博客
08-05 3416
很多时候后端传回来的日期数据，和我们看到的数据都是有差别的，例如 当然可以选择在后端格式化后再传回前端，显然我们不推荐你这样做，因为你很难确定，你格式化后的日期格式在所有地方都适用 Layui解决日期格式问题 在table数据日期栏加上： templet: "{{layui.util.toDateString(d.sbj_start, ‘yyyy-MM-dd HH:mm:ss’)}}即可 上代码 table.render({ elem: '#test' , url: 'http://lo
hadoop-hdfs-site.xml配置文件详解
xu2414506319的博客
10-17 3186
hadoop:hdfs-site.xml配置文件详解 hdfs-site.xml配置文件j介绍 hadoop-hdfs相关的配置信息 hdfs-site.xml配置文件 name value description hadoop.hdfs.configuration.version 1 version of this configuration file dfs.namenode.logging.level info The logging level for dfs namen
如何搭建hadoop完全分布式集群
最新发布
05-16
搭建Hadoop完全分布式集群的步骤如下： 1. 准备好必要的硬件设备，包括多台服务器、网络交换机等。这些服务器需要运行相同版本的操作系统，如CentOS、Ubuntu等。 2. 安装Java环境，Hadoop是基于Java开发的，所以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值