CDH中配置HDFS HA 及shell 脚本

最新推荐文章于 2023-10-05 08:30:00 发布
最新推荐文章于 2023-10-05 08:30:00 发布
阅读量2.1k 收藏
点赞数
分类专栏： 批量:Hive/Spark/Hbas 文章标签： hdfs hadoop集群 HA

最近又安装 hadoop 集群， 故尝试了一下配置 HDFS 的 HA，CDH4支持Quorum-based Storage和shared storage using NFS两种HA方案，而CDH5只支持第一种方案，即 QJM 的 HA 方案。

关于 hadoop 集群的安装部署过程你可以参考 使用yum安装CDH Hadoop集群 或者 手动安装 hadoop 集群的过程。

集群规划

我一共安装了三个节点的集群，对于 HA 方案来说，三个节点准备安装如下服务：

  • cdh1：hadoop-hdfs-namenode(primary) 、hadoop-hdfs-journalnode、hadoop-hdfs-zkfc
  • cdh2：hadoop-hdfs-namenode(standby)、hadoop-hdfs-journalnode、hadoop-hdfs-zkfc
  • cdh3: hadoop-hdfs-journalnode

根据上面规划，在对应节点上安装相应的服务。

安装步骤

停掉集群

停掉集群上所有服务。

$ sh /opt/cmd.sh ' for x in `ls /etc/init.d/|grep spark` ; do service $x stop ; done'
​$ sh /opt/cmd.sh ' for x in `ls /etc/init.d/|grep impala` ; do service $x stop ; done'
$ sh /opt/cmd.sh ' for x in `ls /etc/init.d/|grep hive` ; do service $x stop ; done'
$ sh /opt/cmd.sh ' for x in `ls /etc/init.d/|grep hbase` ; do service $x stop ; done'
$ sh /opt/cmd.sh ' for x in `ls /etc/init.d/|grep hadoop` ; do service $x stop ; done'

cmd.sh代码内容见Hadoop集群部署权限总结一文中的/opt/shell/cmd.sh。

停止客户端程序

停止服务集群的所有客户端程序，包括定时任务。

备份 hdfs 元数据

a，查找本地配置的文件目录（属性名为 dfs.name.dir 或者 dfs.namenode.name.dir或者hadoop.tmp.dir ）

grep -C1 hadoop.tmp.dir /etc/hadoop/conf/hdfs-site.xml

#或者
grep -C1 dfs.namenode.name.dir /etc/hadoop/conf/hdfs-site.xml

通过上面的命令，可以看到类似以下信息：

<property>
<name>hadoop.tmp.dir</name>
<value>/data/dfs/nn</value>
</property>

b，对hdfs数据进行备份

cd /data/dfs/nn
tar -cvf /root/nn_backup_data.tar .

安装服务

在 cdh1、cdh2、cdh3 上安装 hadoop-hdfs-journalnode

$ ssh cdh1 'yum install hadoop-hdfs-journalnode -y '
$ ssh cdh2 'yum install hadoop-hdfs-journalnode -y '
$ ssh cdh3 'yum install hadoop-hdfs-journalnode -y '

在 cdh1、cdh2 上安装 hadoop-hdfs-zkfc：

ssh cdh1 "yum install hadoop-hdfs-zkfc -y "
ssh cdh2 "yum install hadoop-hdfs-zkfc -y "

修改配置文件

修改/etc/hadoop/conf/core-site.xml，做如下修改：

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://mycluster:8020</value>
</property>
<property>
	<name>ha.zookeeper.quorum</name>
	<value>cdh1:21088,cdh2:21088,cdh3:21088</value>
</property>

修改/etc/hadoop/conf/hdfs-site.xml，删掉一些原来的 namenode 配置，增加如下：

<!--  hadoop  HA -->
<property>
	<name>dfs.nameservices</name>
	<value>mycluster</value>
</property>
<property>
	<name>dfs.ha.namenodes.mycluster</name>
	<value>nn1,nn2</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn1</name>
	<value>cdh1:8020</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn2</name>
	<value>cdh2:8020</value>
</property>
<property>
	<name>dfs.namenode.http-address.mycluster.nn1</name>
	<value>cdh1:50070</value>
</property>
<property>
	<name>dfs.namenode.http-address.mycluster.nn2</name>
	<value>cdh2:50070</value>
</property>
<property>
	<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://cdh1:8485,cdh2:8485,cdh3:8485/mycluster</value>
</property>
<property>
	<name>dfs.journalnode.edits.dir</name>
	<value>/data/dfs/jn</value>
</property>
<property>
	<name>dfs.client.failover.proxy.provider.mycluster</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
	<name>dfs.ha.fencing.methods</name>
	<value>sshfence(hdfs)</value>
</property>
<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/var/lib/hadoop-hdfs/.ssh/id_rsa</value>
</property>
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>

同步配置文件

将配置文件同步到集群其他节点：

$ sh /opt/syn.sh /etc/hadoop/conf /etc/hadoop/

在journalnode的三个节点上创建目录：

$ ssh cdh1 'mkdir -p /data/dfs/jn ; chown -R hdfs:hdfs /data/dfs/jn'
$ ssh cdh2 'mkdir -p /data/dfs/jn ; chown -R hdfs:hdfs /data/dfs/jn'
$ ssh cdh3 'mkdir -p /data/dfs/jn ; chown -R hdfs:hdfs /data/dfs/jn'

配置无密码登陆

在两个NN上配置hdfs用户间无密码登陆：

对于 cdh1：

$ passwd hdfs
$ su - hdfs
$ ssh-keygen
$ ssh-copy-id  cdh2

对于 cdh2：

$ passwd hdfs
$ su - hdfs
$ ssh-keygen
$ ssh-copy-id   cdh1

启动journalnode

启动cdh1、cdh2、cdh3上的 hadoop-hdfs-journalnode 服务

$ ssh cdh1 'service hadoop-hdfs-journalnode start'
$ ssh cdh2 'service hadoop-hdfs-journalnode start'
$ ssh cdh3 'service hadoop-hdfs-journalnode start'

初始化共享存储

在namenode上初始化共享存储，如果没有格式化，则先格式化：

hdfs namenode -initializeSharedEdits

启动NameNode：

$ service hadoop-hdfs-namenode start

同步 Standby NameNode

cdh2作为 Standby NameNode，在该节点上先安装namenode服务

$ yum install hadoop-hdfs-namenode -y

再运行：

$ sudo -u hdfs hadoop namenode -bootstrapStandby

如果是使用了kerberos，则先获取hdfs的ticket再执行：

$ kinit -k -t /etc/hadoop/conf/hdfs.keytab hdfs/cdh1@JAVACHEM.COM
$ hadoop namenode -bootstrapStandby

然后，启动 Standby NameNode：

$ service hadoop-hdfs-namenode start

配置自动切换

在两个NameNode上，即cdh1和cdh2，安装hadoop-hdfs-zkfc

$ ssh cdh1 'yum install hadoop-hdfs-zkfc -y'
$ ssh cdh2 'yum install hadoop-hdfs-zkfc -y'

在任意一个NameNode上下面命令，其会创建一个znode用于自动故障转移。

$ hdfs zkfc -formatZK

如果你想对zookeeper的访问进行加密，则请参考 Enabling HDFS HA 中 Securing access to ZooKeeper 这一节内容。

然后再两个 NameNode 节点上启动zkfc：

$ ssh cdh1 "service hadoop-hdfs-zkfc start"
$ ssh cdh2 "service hadoop-hdfs-zkfc start"

测试

分别访问 http://cdh1:50070/ 和 http://cdh2:50070/ 查看谁是 active namenode，谁是 standyby namenode。

查看某Namenode的状态：

#查看cdh1状态
$ sudo -u hdfs hdfs haadmin -getServiceState nn1
active

#查看cdh2状态
$ sudo -u hdfs hdfs haadmin -getServiceState nn2
standby

执行手动切换：

$ sudo -u hdfs hdfs haadmin -failover nn1 nn2
Failover to NameNode at cdh2/192.168.56.122:8020 successful

再次访问 http://cdh1:50070/ 和 http://cdh2:50070/ 查看谁是 active namenode，谁是 standyby namenode。

配置HBase HA

先停掉 hbase，然后修改/etc/hbase/conf/hbase-site.xml，做如下修改：

<!-- Configure HBase to use the HA NameNode nameservice -->
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://mycluster:8020/hbase</value>       
  </property>

在 zookeeper 节点上运行/usr/lib/zookeeper/bin/zkCli.sh

$ ls /hbase/splitlogs
$ rmr /hbase/splitlogs

最后启动 hbase 服务。

配置 Hive HA

运行下面命令将hive的metastore的root地址的HDFS nameservice。

$ /usr/lib/hive/bin/metatool -listFSRoot 
Initializing HiveMetaTool..
Listing FS Roots..
hdfs://cdh1:8020/user/hive/warehouse  

$ /usr/lib/hive/bin/metatool -updateLocation hdfs://mycluster hdfs://cdh1 -tablePropKey avro.schema.url 
-serdePropKey schema.url  

$ metatool -listFSRoot 
Listing FS Roots..
Initializing HiveMetaTool..
hdfs://mycluster:8020/user/hive/warehouse

配置 Impala

不需要做什么修改，但是一定要记住 core-site.xml 中 fs.defaultFS 参数值要带上端口号，在CDH中为 8020。

配置 YARN

暂时未使用，详细说明请参考 MapReduce (MRv1) and YARN (MRv2) High Availability。

配置 Hue

暂时未使用，详细说明请参考 Hue High Availability 。

配置 Llama

暂时未使用，详细说明请参考 Llama High Availability 。


原创文章，转载请注明： 转载自 JavaChen Blog，作者： JavaChen
本文链接地址： http://blog.javachen.com/2014/07/18/install-hdfs-ha-in-cdh.html
本文基于 署名2.5中国大陆许可协议发布，欢迎转载、演绎或用于商业目的，但是必须保留本文署名和文章链接。 如您有任何疑问或者授权方面的协商，请邮件联系我。

CDH中配置HDFS HA

hadoop hadoop

 

大数据部
关注
专栏目录
HDFS—集群迁移
qq_45115959的博客
08-19 1106
/ 推 pushscp -r// 拉 pullscp -rroot@hadoop104:/user/atguigu //是通过本地主机中转实现两个远程主机的文件复制；如果在两个远程主机之间ssh没有配置的情况下可以使用该方式。
从零开始搭建CDH（三）---观察HDFS
wyj1023405602的博客
08-11 760
之前在CDH上安装好了服务HDFS，这里观察一下HDFS包括数据持久化和文件读写在内的一些工作流程。 目录 1. 数据持久化观察 2. HDFS文件读写观察 2.1 新建文件目录 2.2 上传文件 2.3 下载文件 1. 数据持久化观察 进入HaDoop页面观察其启动过程： 加载镜像文件fsimage 加载日志文件edits 保留checkpoint ...
CDH中配置HDFS HA
weixin_33922672的博客
02-03 731
原文发表在：http://blog.javachen.com/2014/07/18/install-hdfs-ha-in-cdh.html 最近又安装 hadoop 集群， 故尝试了一下配置 HDFS 的 HA，CDH4支持Quorum-based Storage和shared storage using NFS两种HA方案，而CDH5...
CDH 中使用 hive-shell
半吊子Kyle的博客
11-08 1007
在 CDH 中使用 hive 问题描述 Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path 解决方案 编辑 hadoop-env.sh # 1. 进入 hive 安装目录(可能不同，以自己的目录为准) cd /opt/cloudera/parcels/CDH/lib/hive/conf vim hadoop-env.sh # 2. 在末尾增加如下
hadoop中对hdfs的shell操作--block--配置参数--启动问题
qa962839575的专栏
01-15 2798
1.对hdfs操作的命令格式是hadoop fs  1.1 -ls表示对hdfs下一级目录的查看 1.2 -lsr 表示对hdfs目录的递归查看 1.3 -mkdir创建目录 1.4 -put 从linux上传文件到hdfs 1.5 -get 从hdfs下载文件到linux 1.6 -text 查看文件内容 1.7 -rm 表示删除文件
CDH上的Shell脚本————用于脚本调度做准备的
weixin_44695980的博客
07-09 602
#!/bin/bash bindir=$(cd $(dirname 0);pwd)echo&quot;bindir=0);pwd) echo &quot;bindir=0);pwd)echo"bindir=bindir" day=date -d -1hour +%Y-%m-%d hour=date -d -1hour +%H if [ $# -eq 2 ];then echo “...
Keepalived安装及配置实现虚拟IP与HDFS Active Namenode同步
threewaterxzm的博客
10-31 1429
Keepalived安装及配置实现虚拟IP与HDFS Active Namenode同步 1. 软件及安装环境 本文中所使用的环境为三台Centos服务器，操作系统版本为CentOS6.5   HDFS版本为2.6.0，通过journal node实现高可用（HDFS journal node高可用配置可参见__HDFS三节点集群搭建（Journal Node）或自行百度）。 Keepalived 版本为1.2.6。 IP地址为211，212，214，其中211和212节点作为
关于搭建CDH中遇到的问题
qq_40651753的博客
12-29 817
本人搭建的cdh版本是5.10.1，服务器的版本是redhat 7.4,在搭建cdh的过程中遇见了下列问题，分享出来给大家参考参考 一、CDH搭建成功以后，安装服务的过程中突然崩溃的步骤：      解决：      1&gt; 删除Agent节点的UUID        # rm -rf /opt/cm-5.4.7/lib/cloudera-scm-agent/*      2&gt;...
HDFS集群搭建，高可用双机热备模式(HA)自动切换，hdfs+zookeeper+journalnode，步骤分步原理详解(适合初学者)
CAM的博客
07-01 7548
前 言 作者也是初学hadoop，了解各组件的用途，并且项目中有些东西用不到，所以作者用最简化的组件搭建，避免多余资源的浪费，作者最初构想是zookeeper+hdfs搭建一个分布式文件系统，不用yarn和mapReduce，但是由于双机热备需要一个共享资源的目录，所以还是用到了yarn的journalnode。后续会进行详细说明。 作者会针对每一步进行详细说明以及原理解释，还有作者踩过的
【HDFS HA与Kerberos安全集成】：实现安全访问控制的Kerberos整合方案
[【HDFS HA与Kerberos安全集成】：实现安全访问控制的Kerberos整合方案](https://img-blog.csdnimg.cn/2018112818021273.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9...
cdh集群linux命令,CDH集群中，服务器启动spark2-shell命令行注意事项
weixin_31498721的博客
05-15 280
1、环境cdh5.12.3spark2 2.3.02、需要本地地洞spark2-shell用于环境测试错误一：Error: A JNI error has occurred, please check your installation and try againException in thread "main" java.lang.NoClassDefFoundError: org/slf4j...
CDH 集群Impala-Shell 获取不到数据及相关问题
Nice的博客
05-11 1097
错误描述：在CDH 界面安装Impala 服务之后，进入到服务器的Impala-shell中运行查询语句获取不到数据 控制台运行查询打印信息如下： [hddatanode02:21000] test> select * from test.ods_cdp_data_explore; Query: select * from test.ods_cdp_data_explore Query submitted at: 2021-05-11 12:37:59 (Coordinator: http://hdd
搭建CDH 阿里云 (Step 1: 启动hdfs)
xw514124202的博客
08-04 2046
准备动作 在阿里云申请三台机器(Centos) 安装Oracle JDK 在阿里云申请三台机器(Centos) PS. 内存要大于4g，因为namenode启动的时候内存需要 在每一台机器上配置域名 vim&amp;nbsp;/etc/hosts 172.24.218.96 worker1 172.24.218.97 worker2 172.24.218.98 worker3...
cdh 之 HDFS集群优化篇003
weixin_34388207的博客
03-25 426
2019/3/21 星期四 1、操作系统级别优化 选择Linux的文件系统为：XFS文件系统 2、预读缓冲预读技术可以有效的减少磁盘寻道次数和应用的I/O等待时间，增加Linux文件系统预读缓冲区的大小(默认为256 sectors，128KB)，可以明显提高顺序文件的读性能，建议调整到1024或2048 sectors。预读缓冲区的设置可以通过blockdev命令来完成。 [root@New...
Hadoop集群的启动与停止（包含编辑脚本）
最新发布
jyqkl的博客
10-05 1663
环境要求：linux系统。
dfs.nameservices参数
sun13047140038的博客
06-21 2211
dfs.namenode.rpc-address.mycluster.nn1和dfs.namenode.rpc-address.mycluster.nn2：指定活动和备用NameNode的RPC地址。然而，仅设置dfs.nameservices参数是不够的，您还需要配置其他与名称服务相关的参数。这里的示例中，nn1.example.com和nn2.example.com是活动和备用NameNode的主机名，8020是RPC通信所使用的端口号。在这个示例中，mycluster是HDFS集群的名称服务。
cdh-启用hdfs ha
lisery的博客
06-21 1933
HDFS高可用性（HA）群集使用两个NameNode（活动NameNode和备用NameNode）。只有一个NameNode可以在任何时间点处于活动状态。 HDFS HA依赖于在两个NameNode可用的位置维护所有名称空间修改的日志，以便在发生故障时，备用NameNode具有关于集群中块的编辑和位置的最新信息。 重要提示：启用和禁用HA会导致HDFS服务和依赖于HDFS的所有服务中断服务。...
【环境搭建】CDH版Hadoop环境搭建
weixin_34356310的博客
09-13 485
1.下载组件 首先去CDH网站上下载hadoop组件 地址：http://archive.cloudera.com/cdh5/cdh/5/ 注意版本号要与其他的组件CDH版本一致   2.环境配置 设置主机名和用户名 配置静态IP 配置SSH免密登录 配置JDK 3.配置HADOOP 1.新建用户hadoop，从root用户获取/opt文件夹的权限，所有节点都要执行 ...
cdh6.2 安装中出现hdfs/hdfs.sh ["mkdir","/tmp","hdfs","supergroup","1777"] 的问题 cdh
sardtass的专栏
06-26 1934
在第一次安装cdh6.2时，安装完成了，但是主机没有能加入到集群中，导致只有两个datanode节点，然后重装，结果就出现了这个问题hdfs/hdfs.sh ["mkdir","/tmp","hdfs","supergroup","1777"]，一直用了3天时间，找各种问题，到网上查，主要说法是内存不够，还有说主动退出safemode就可以了。全试了都不行。 最后测试出来是因为提前建了datan...
spark-在windows中连接虚拟机中cdh集群的hdfs和hive
03-16
要在Windows中连接虚拟机中的CDH集群的HDFS和Hive，需要按照以下步骤操作： 1. 确保虚拟机和Windows主机在同一网络中，可以互相访问。 2. 在虚拟机中启动HDFS和Hive服务，并确保它们正常运行。 3. 在Windows主机...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值