hadoop高可用安装与配置

最新推荐文章于 2024-05-15 04:58:10 发布

JKX_geek

最新推荐文章于 2024-05-15 04:58:10 发布

阅读量225

点赞数

本文链接：https://blog.csdn.net/JKX_geek/article/details/104775404

版权

个人博客导航页（点击右侧链接即可打开个人博客）：大牛带你入门技术栈

Hadoop笔记整理（四）：Hadoop分布式HA的安装部署

集群的规划

host	基本的软件	运行的进程
data1	jdk、zk、hadoop	NameNode、zkfc、zk、journalNode、 ResourceManager
data2	jdk、zk、hadoop	NameNode、zkfc、zk、journalNode、ResourceManager、datanode、NodeManager
data3	jdk、zk、hadoop	zk、journalNode、datanode、NodeManager

一.SSH免密登录
1.data1:
ssh-keygen -t rsa , 然后一直按回车
   ssh-copy-id data1
   ssh-copy-id data2
   ssh-copy-id data3
2.在data2和data3上重复执行1的操作

二.安装jdk
省略

三.安装zookeeper
省略

四.安装hadoop
1.下载到/data/tools: wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz
2. 添加环境变量:sudo vi /etc/profile
export HADOOP_HOME=/data/tools/hadoop-2.10.0
export PATH=$HADOOP_HOME/bin:$PATH
3.修改配置文件: hadoop-env.sh、yarn-env.sh、mapred-env.sh、hdfs-site.xml、core-site.xml、mapred-site.xml、yarn-site.xml、slaves
3.1 hadoop-env.sh: export JAVA_HOME=/usr/local/jdk
3.2 yarn-env.sh: export JAVA_HOME=/usr/local/jdk
3.3 mapred-env.sh: export JAVA_HOME=/usr/local/jdk
3.4 slaves

data2
data3

3.5 配置hosts
3.6 配置core-site.xml文件

<configuration>
    <!-- 指定hdfs的nameservice为ns1 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1</value>
    </property>
    <!-- 指定hadoop临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop-data/tmp</value>
    </property>
     <property>
        <name>hadoop.http.staticuser.user</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.halo_op.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.halo_op.groups</name>
        <value>*</value>
    </property>
    <!-- 指定zookeeper地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>data1:2181,data2:2181,data3:2181</value>
    </property>
     <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
</configuration>

3.7 配置hdfs-site.xml文件

<configuration> 
    <!--副本数-->
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property> 
    <property> 
       <name>dfs.permissions.enabled</name>
       <value>false</value>
    </property>
    <!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>
    <!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
    <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>
    <!-- nn1的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>data1:9000</value>
    </property>
    <!-- nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>data1:50070</value>
    </property>
    <!-- nn2的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn2</name>
        <value>data2:9000</value>
    </property>
    <!-- nn2的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>data2:50070</value>
    </property>
    <!-- 指定NameNode的元数据在JournalNode上的存放位置 (一般和zookeeper部署在一起) -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://data1:8485;data2:8485;data3:8485/ns1</value>
    </property>
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/data/hadoop-data/journal</value>
    </property>
    <property>  
        <name>dfs.namenode.name.dir</name>  
        <value>/data/hadoop-data/name</value>  
    </property>  
    <property>  
        <name>dfs.datanode.data.dir</name>  
        <value>/data/hadoop-data/data</value>  
    </property> 
    <!-- 开启NameNode失败自动切换 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <!-- 配置失败自动切换实现方式 -->
    <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
        sshfence
        shell(/bin/true)
        </value>
    </property>
    <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/halo_op/.ssh/id_rsa</value>
    </property>
    <!-- 配置sshfence隔离机制超时时间 -->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
</configuration>

3.8 配置mapred-site.xml文件

<configuration>
    <!-- mr依赖的框架名称 yarn-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- mr转化历史任务的rpc通信地址-->
    <property>  
        <name>mapreduce.jobhistory.address</name>  
        <value>data1:10020</value>  
    </property>
    <!-- mr转化历史任务的http通信地址-->
    <property>  
        <name>mapreduce.jobhistory.webapp.address</name>  
        <value>data1:19888</value>  
    </property>
    <!-- 会在hdfs的根目录下面创建一个history的文件夹，存放历史任务的相关运行情况-->
    <property>
        <name>yarn.app.mapreduce.am.staging-dir</name>
        <value>/history</value>
    </property>
    <!-- map和reduce的日志级别-->
    <property>
        <name>mapreduce.map.log.level</name>
        <value>INFO</value>
    </property>
    <property>
        <name>mapreduce.reduce.log.level</name>
        <value>INFO</value>
    </property>
</configuration>

3.9 配置yarn-site.xml文件

<configuration>
    <!-- 开启RM高可靠 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!-- 指定RM的cluster id -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>
    <!-- 指定RM的名字 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <!-- 分别指定RM的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>data1</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>data2</value>
    </property>
    <!-- 指定zk集群地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>data1:2181,data2:2181,data3:2181</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--启用自动恢复，当任务进行一半，rm坏掉，就要启动自动恢复，默认是false-->
    <property>
       <name>yarn.resourcemanager.recovery.enabled</name>
       <value>true</value>
    </property>
    <property> 
      <name>yarn.resourcemanager.store.class</name>
      <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property> 
    <property>
        <!-- 客户端通过该地址向RM提交对应用程序操作 -->
        <name>yarn.resourcemanager.address.rm1</name>
        <value>data1:8032</value>
    </property>
    <property>
        <!--ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等。 -->
        <name>yarn.resourcemanager.scheduler.address.rm1</name>  
        <value>data1:8030</value>
    </property>
    <property>
        <!-- RM HTTP访问地址,查看集群信息-->
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>data1:8088</value>
    </property>
    <property>
        <!-- NodeManager通过该地址交换信息 -->
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>data1:8031</value>
    </property>
    <property>
        <!--管理员通过该地址向RM发送管理命令 -->
        <name>yarn.resourcemanager.admin.address.rm1</name>
        <value>data1:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.admin.address.rm1</name>
        <value>data1:23142</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>data2:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>data2:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>data2:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>data2:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>data2:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.admin.address.rm2</name>
        <value>data2:23142</value>
    </property>
</configuration>

4.准备hadoop所需要的几个目录
mkdir -p /data/hadoop-data/{name,data,journal,tmp}
5.把hadoop和对应存储目录同步到data2和data3(环境变量需要各自去配)
scp -r /data/hadoop-data data2:/data
scp -r /data/hadoop-data data3:/data

scp -r /data/tools/hadoop-2.10.0 data2:/data/tools
scp -r /data/tools/hadoop-2.10.0 data3:/data/tools
6.启动
1.data1,data2,data3启动journalnode:
sbin/hadoop-daemon.sh start journalnode
2.格式化data1的namenode:
hdfs namenode -format
3.将data1上面产生的namenode的元数据信息，拷贝到data2上面
scp -r /data/hadoop-data/name data2:/data/hadoop-data/
4.data1格式化zkfc
hdfs zkfc -formatZK
实际上是在zookeeper中创建一个目录节点/hadoop-ha/ns1
5.启动hdfs
在data1机器上面或者data2上面启动:sbin/start-dfs.sh
实际上在各机器上启动了:NameNode、journalnode、zkfc,datanode
6.启动yarn
在data1上面启动sbin/start-yarn.sh
实际上时启动了:ResourceManager,NodeManager
在data2上面启动: sbin/yarn-daemon.sh start resourcemanager

如果要单独启动hdfs中某一个进程，使用脚本hadoop-daemon.sh start 进程名,如:sbin/hadoop-daemon.sh start namenode

五.测试namenode和rm的ha
1 访问web
hdfs
http://data1:50070
http://data2:50070
其中一个是active，一个是standby
yarn
http://data1:8088
http://data2:8088
在浏览的时候standby会重定向跳转之active对应的页面
2、ha的验证
NameNode HA
访问：
http://data1:50070
http://data2:50070
其中一个active的状态，一个是StandBy的状态

主备切换验证：
在data1上kill -9 namenode的进程
这时访问data2:50070发现变成了active的
然后在data1上重新启动namenode，发现启动后状态变成standby的

Yarn HA
web访问：默认端口是8088
data1:8088
data2:8088 -> data1:8088

主备切换验证：
在data1上kill -9 resourcemanager的进程
这时可以访问data2:8088,不会在跳转
然后在data1上重新启动resourcemanager，再访问时就是跳转到data2:8088
主备切换结论：
原来的主再恢复时，为了系统的稳定性，不会再进行主备的切换

3、mr任务测试
1.准备一个文件,上传hdfs: hdfs dfs -put /data/tmp/mrtest.txt /
2.cd /data/tools/hadoop-2.10.0/share/hadoop/mapreduce
3.yarn jar hadoop-mapreduce-examples-2.6.4.jar wordcount /mrtest.txt /output/wc

附Java/C/C++/机器学习/算法与数据结构/前端/安卓/Python/程序员必读/书籍书单大全：

（点击右侧即可打开个人博客内有干货）：技术干货小栈
=====>>①【Java大牛带你入门到进阶之路】<<====
=====>>②【算法数据结构+acm大牛带你入门到进阶之路】<<===
=====>>③【数据库大牛带你入门到进阶之路】<<=====
=====>>④【Web前端大牛带你入门到进阶之路】<<====
=====>>⑤【机器学习和python大牛带你入门到进阶之路】<<====
=====>>⑥【架构师大牛带你入门到进阶之路】<<=====
=====>>⑦【C++大牛带你入门到进阶之路】<<====
=====>>⑧【ios大牛带你入门到进阶之路】<<====
=====>>⑨【Web安全大牛带你入门到进阶之路】<<=====
=====>>⑩【Linux和操作系统大牛带你入门到进阶之路】<<=====

天下没有不劳而获的果实，望各位年轻的朋友，想学技术的朋友，在决心扎入技术道路的路上披荆斩棘，把书弄懂了，再去敲代码，把原理弄懂了，再去实践，将会带给你的人生，你的工作，你的未来一个美梦。

JKX_geek

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
hadoop高可用安装与配置

个人博客导航页（点击右侧链接即可打开个人博客）：大牛带你入门技术栈集群的规划host 基本的软件运行的进程 data1 jdk、zk、hadoop NameNode、zkfc、zk、journalNode、 ResourceManager data2 jdk、zk、hadoop NameNode、zkfc、zk、jou...
复制链接

扫一扫