HDFS的集群搭建

最新推荐文章于 2024-06-20 16:12:27 发布
最新推荐文章于 2024-06-20 16:12:27 发布
阅读量162 收藏 1
点赞数 1
分类专栏： 大数据 文章标签： HDFS集群搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_41766416/article/details/85949358
版权

HDFS的HA

一、集群的规划

Zookeeper集群：
    192.168.223.112 （bigdata112）
    192.168.223.113 （bigdata113）
    192.168.223.114 （bigdata114）
Hadoop集群：
    192.168.223.112 （bigdata112）   NameNode1      ResourceManager1     Journalnode
    192.168.223.113 （bigdata113）   NameNode2      ResourceManager2     Journalnode
    192.168.223.114 （bigdata114）   DataNode1      NodeManager1
    192.168.223.115 （bigdata115）   DataNode2      NodeManager2

二、准备工作

  • 安装JDK
  • 配置环境变量
  • 配置免密码登录
  • 配置主机名

三、配置Zookeeper

    在主节点（bigdata112）上配置ZooKeeper
    （*）配置/root/training/zookeeper-3.4.6/conf/zoo.cfg文件
            dataDir=/root/training/zookeeper-3.4.6/tmp

            server.1=bigdata112:2888:3888
            server.2=bigdata113:2888:3888
            server.3=bigdata114:2888:3888

    （*）在/root/training/zookeeper-3.4.6/tmp目录下创建一个myid的空文件
            echo 1 > /root/training/zookeeper-3.4.6/tmp/myid

    （*）将配置好的zookeeper拷贝到其他节点，同时修改各自的myid文件
            scp -r /root/training/zookeeper-3.4.6/ bigdata113:/root/training
            scp -r /root/training/zookeeper-3.4.6/ bigdata114:/root/training

四、安装Hadoop集群（在bigdata112上安装）

修改hadoo-env.sh
    export JAVA_HOME=/root/training/jdk1.8.0_144

修改core-site.xml

<configuration>
	<!-- 指定hdfs的nameservice为ns1 -->
	<property>
			<name>fs.defaultFS</name>
			<value>hdfs://ns1</value>
	</property>

	<!-- 指定hadoop临时目录 -->
	<property>
			<name>hadoop.tmp.dir</name>
			<value>/root/training/hadoop-2.7.3/tmp</value>
	</property>

	<!-- 指定zookeeper地址 -->
	<property>
			<name>ha.zookeeper.quorum</name>
			<value>bigdata112:2181,bigdata113:2181,bigdata114:2181</value>
	</property>
</configuration>

修改hdfs-site.xml（配置这个nameservice中有几个namenode）

<configuration> 
	<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
	<property>
		<name>dfs.nameservices</name>
		<value>ns1</value>
	</property>

	<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
	<property>
		<name>dfs.ha.namenodes.ns1</name>
		<value>nn1,nn2</value>
	</property>

	<!-- nn1的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn1</name>
		<value>bigdata112:9000</value>
	</property>
	<!-- nn1的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn1</name>
		<value>bigdata112:50070</value>
	</property>

	<!-- nn2的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn2</name>
		<value>bigdata113:9000</value>
	</property>
	<!-- nn2的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn2</name>
		<value>bigdata113:50070</value>
	</property>

	<!-- 指定NameNode的日志在JournalNode上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://bigdata112:8485;bigdata113:8485;/ns1</value>
	</property>
	<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/root/training/hadoop-2.7.3/journal</value>
	</property>

	<!-- 开启NameNode失败自动切换 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>

	<!-- 配置失败自动切换实现方式 -->
	<property>
		<name>dfs.client.failover.proxy.provider.ns1</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>

	<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
			sshfence
			shell(/bin/true)
		</value>
	</property>

	<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>

	<!-- 配置sshfence隔离机制超时时间 -->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>
</configuration>

修改mapred-site.xml

<configuration>
	<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
	</property>
</configuration>

修改yarn-site.xml

<configuration>
	<!-- 开启RM高可靠 -->
	<property>
	   <name>yarn.resourcemanager.ha.enabled</name>
	   <value>true</value>
	</property>

	<!-- 指定RM的cluster id -->
	<property>
	   <name>yarn.resourcemanager.cluster-id</name>
	   <value>yrc</value>
	</property>

	<!-- 指定RM的名字 -->
	<property>
	   <name>yarn.resourcemanager.ha.rm-ids</name>
	   <value>rm1,rm2</value>
	</property>

	<!-- 分别指定RM的地址 -->
	<property>
	   <name>yarn.resourcemanager.hostname.rm1</name>
	   <value>bigdata112</value>
	</property>
	<property>
	   <name>yarn.resourcemanager.hostname.rm2</name>
	   <value>bigdata113</value>
	</property>

	<!-- 指定zk集群地址 -->
	<property>
	   <name>yarn.resourcemanager.zk-address</name>
	   <value>bigdata112:2181,bigdata113:2181,bigdata114:2181</value>
	</property>

	<!--MapReduce运行方式：shuffle洗牌-->
	<property>
	   <name>yarn.nodemanager.aux-services</name>
	   <value>mapreduce_shuffle</value>
	</property>
</configuration>

修改slaves
    bigdata114
    bigdata115

将配置好的hadoop拷贝到其他节点
    scp -r /root/training/hadoop-2.7.3/ root@bigdata113:/root/training/
    scp -r /root/training/hadoop-2.7.3/ root@bigdata114:/root/training/
    scp -r /root/training/hadoop-2.7.3/ root@bigdata115:/root/training/

五、启动Zookeeper集群

六、在bigdata112和bigdata113上启动journalnode

           hadoop-daemon.sh start journalnode

七、格式化HDFS（在bigdata112上执行）

1. hdfs namenode -format
2. 将/root/training/hadoop-2.7.3/tmp拷贝到bigdata113的/root/training/hadoop-2.7.3/tmp下
3. 格式化zookeeper
   hdfs zkfc -formatZK
   日志：17/07/13 00:34:33 INFO ha.ActiveStandbyElector: Successfully created /hadoop-ha/ns1 in ZK

八、在bigdata112上启动Hadoop集群

start-all.sh

bigdata113上的ResourceManager需要单独启动
    命令：yarn-daemon.sh start resourcemanager

HDFS的联盟

规划

NameNode：bigdata112   bigdata113
DataNode: bigdata114   bigdata115

hadoop-env.sh    JAVA_HOME    /root/training/jdk1.8.0_144

core-site.xml
<property>
  <name>hadoop.tmp.dir</name>
  <value>/root/training/hadoop-2.7.3/tmp</value>
</property>

mapred-site.xml
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

yarn-site.xml
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>bigdata112</value>
</property>

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>	

slaves
bigdata114
bigdata115

hdfs-site.xml
<property>
  <name>dfs.nameservices</name>
  <value>ns1,ns2</value>
</property>

<property>
  <name>dfs.namenode.rpc-address.ns1</name>
  <value>192.168.223.112:9000</value>
</property>

<property>
  <name>dfs.namenode.http-address.ns1</name>
  <value>192.168.223.112:50070</value>
</property>

<property>
  <name>dfs.namenode.secondaryhttp-address.ns1</name>
  <value>192.168.223.112:50090</value>
</property>

<property>
  <name>dfs.namenode.rpc-address.ns2</name>
  <value>192.168.223.113:9000</value>
</property>

<property>
  <name>dfs.namenode.http-address.ns2</name>
  <value>192.168.223.113:50070</value>
</property>

<property>
  <name>dfs.namenode.secondaryhttp-address.ns2</name>
  <value>192.168.223.113:50090</value>
</property>

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>				

<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>

增加路由规则-----> core-site.xml中    

<property>
	<name>fs.viewfs.mounttable.xdl1.homedir</name>
	<value>/home</value>
</property>

<property>
	<name>fs.viewfs.mounttable.xdl1.link./movie</name>
	<value>hdfs://192.168.223.112:9000/movie</value>
</property>

<property>
	<name>fs.viewfs.mounttable.xdl1.link./mp3</name>
	<value>hdfs://192.168.223.113:9000/mp3</value>
</property>

<property>
	<name>fs.default.name</name>
	<value>viewfs://xdl1</value>
</property>

注意：如果路由规则太多了，不方便维护 ----> 单独创建一个xml文件（mountTable.xml）
           参考官方的文档：http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-hdfs/Federation.html
                             http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-hdfs/ViewFs.html
复制到其他节点
  scp -r hadoop-2.7.3/ root@bigdata113:/root/training
  scp -r hadoop-2.7.3/ root@bigdata114:/root/training
  scp -r hadoop-2.7.3/ root@bigdata115:/root/training
  
对每个NameNode（bigdata112  bigdata113）进行格式刷
     注意ID号
     hdfs namenode -format -clusterId xdl1
启动
在对应NameNode上，事先创建号目录
hadoop fs -mkdir hdfs://192.168.223.112:9000/movie
hadoop fs -mkdir hdfs://192.168.223.113:9000/mp3
一定注意
[root@bigdata112 training]# hdfs dfs -ls /  查看到的是路由规则，不是目录
Found 2 items
-r-xr-xr-x   - root root          0 2018-05-11 20:39 /movie
-r-xr-xr-x   - root root          0 2018-05-11 20:39 /mp3     

 

 

 

 

 

 

 

 

 

做一个勤劳的码农
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS完全分布式集群搭建与配置
stupid_gentleman的博客
09-15 2957
HDFS完全分布式集群搭建与配置
HDFS高可用群集HA搭建
woailyoo0000的博客
01-07 308
一 .群集架构 二.群集规划 namenode datanode journalnode zkfc zookeeper bigdata01 yes yes yes yes bigdata02 yes yes yes yes yes bigdata03 yes yes yes yes 针对HDFS的HA群集，只需要启动HDFS相关的进程就可以了，YARN的相关进程可以不启动，它们两个的进程本来就是相互独立的。 在HDFS的HA群集中，
HDFS集群搭建
qq_37436172的博客
05-05 956
在已经启动单机版hdfs的基础上进行 1.准备三台虚拟机（以完成网络配置，主机名配置，主机域名映射,防火墙关闭并关闭重启，ssh免密，安装JDK等等） 2.在node01上安装Hadoop，配置环境变量（修改和配置一些文件，修改时一定小心错一个字母就会失败。） 3.同步配置信息（把在node01上修改的配置文件同步到node02和node03上） 4.在node01上格式化，并启动集群。 5.用jps查看启动情况，并测试上传下载是否能成功。在web端查看
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
最新发布
2401_84166258的博客
06-20 1004
同时修改hadoop02和hadoop03。
Hadoop学习之hdfs集群搭建详解
weixin_46490924的博客
01-03 2528
hadoop高手之路 hadoop学习之集群搭建 yarn搭建+hdfs集群搭建详解
超详细的hadoop完全分布式集群的搭建
programmer_trip的博客
06-05 4004
HDFS (hadoop distributed file system) : hadoop分布式文件系统 环境: 这是学习使用的,因为用虚拟机,通过root用户进行搭建 一.创建一个虚拟机 had01 ,网络连接方式均为NAT模式 搭建步骤: 首先创建一个hdp01
大数据开源框架环境搭建(四)——HDFS完全分布式集群的安装部署
木子一个Lee的博客
02-17 2813
普通用户下大部分命令需要加sudo，root模式下不用。如果怕麻烦，直接在root用户下操作。本框架的分布式集群如下图所示(IP地址不一定跟图中一样)
HDFS 集群的机架感知
potter
03-25 450
HDFS 集群的机架感知目录1、背景 ............................................................................................................................................12、配置机架感知...................................
python 零基础学习篇-04.HDFS集群搭建--服务器-网络配置准备.mp4
04-30
python 零基础学习篇-04.HDFS集群搭建--服务器-网络配置准备.mp4
hadoop集群搭建教程
03-07
在虚拟机上面搭建hdfs 集群亲测可用 记得 修改ip地址就行
Hadoop搭建集群
04-03
### Hadoop集群搭建详解 #### 一、概述 Hadoop是一种能够对大量数据进行分布式处理的软件框架。本文档将详细介绍如何从零开始搭建一个基本的Hadoop集群，包括环境准备、配置步骤以及验证方法。 #### 二、准备工作...
Hadoop集群搭建详细简明教程
05-16
本教程“Hadoop集群搭建详细简明教程”将带你逐步走进Hadoop的世界，了解并掌握如何构建一个高效稳定的Hadoop集群。 Hadoop是由Apache基金会开发的一个开源项目，其核心包括两个主要组件：Hadoop Distributed File ...
「大数据集群的搭建和使用」背景知识：HDFS介绍
weixin_62909516的博客
07-16 483
HDFS简介及其基本概念
HADOOP集群搭建， HDFS简易配置
m0_56369204的博客
06-25 1622
注意： hdfs://192.168.70.100:9000 ip需修改为你自己的。HADOOP在多计算机集群环境中营造一个统一而稳定的存储和计算环境。IPADDR=192.168.70.100 这里修改为你的ip。GATEWAY=192.168.70.2 这里修改为你的网关。注意：如果想root用户启动，需在配置文件添加如下内容。把bootproto改为static。ip和网关可以在如下地方查看。访问web端也是正常打开。后续依然要source。在最下面加入如下内容。
HDFS集群搭建过程随记
dfdsfdsfwsedf的博客
10-10 516
2023-10-09由于项目使用分布式文件系统进行存储，所以此文章记录搭建HDFS全过程，之前搭建了虚拟机版本的，此次搭建基于三台云服务器的版本。
Hadoop集群搭建-完整版
zh_19995的博客
11-20 236
本文主要结束Hadoop集群的各个配置文件，以及搭建hadoop集群的环境准备等工作，期中包括免密登录，域名映射，时间同步等等，并且博主也指出在进行集群搭建过程中常常发生的问题，以帮助大家共同学习，进步。
Hadoop大数据集群搭建（超详细）
热门推荐
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
kudu+hdfs集群搭建
07-22
需要注意的是，集群搭建的具体步骤可能会因为不同的环境和版本而有所差异。建议您参考Hadoop和Kudu的官方文档，以获得更详细的配置指南和操作步骤。另外，在搭建集群之前，确保您已经对Hadoop和Kudu有一定的了解，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值