第八记·Hadoop完全分布式搭建教程、Zookeeper搭建、HA环境部署

XY个人笔记

    ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。提供了 文件系统和通知机制。ZooKeeper要遵循2n+1个服务的原则,其中有1个领导者(Leader)和2n个跟随者(Follower)。
    Leader领导者负责进行投票的发起和决议,更新系统状态。Follower用于接收可数请求并向客户端返回结果,在选主过程中参与投票。还有一个角色是ObServer,ObServer可以接收客户端连接,将写请求转发给Leader节点。但ObServer不参加投票过程,只同步Leader的状态。ObServer的目的是为了扩展系统,提高读取速度。

    HA(High Available),高可用性集群,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点。通常把正在执行业务的称为活动节点,而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题,导致正在运行的业务(任务)不能正常运行时,备用节点此时就会侦测到,并立即接续活动节点来执行业务。从而实现业务的不中断或短暂中断。

    下面介绍环境的搭建。

一、完全分布式搭建

1.首先我们先克隆5台虚拟机,更改本地HOSTS文件对应的主机名。

2.修改网络信息,后面克隆的4台机器进行相同的配置


# cd /etc/sysconfig/network-scripts/
# vi ifcfg-eth0


3.修改network、修改完成之后重启网络服务

$ vi /etc/sysconfig/network
# service network restart

4.配置ssh,查看克隆的虚拟机是否有公钥和私钥,如果有的话删除(如果不是自己设置的是克隆过来的,所以需要删除)

$ sudo rm -rf .shh/

5.重新生成

$ ssh-keygen

6.发送秘钥,五台都要发送

$ ssh-copy-id jeffrey.hadoop01.com 
$ ssh-copy-id jeffrey.hadoop02.com
$ ssh-copy-id jeffrey.hadoop03.com
$ ssh-copy-id jeffrey.hadoop04.com
$ ssh-copy-id jeffrey.hadoop05.com

7.更改配置文件

====core-site.xml====
<!--指定第一台做namenode-->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop.senior01:8020</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/modules/hadoop-2.5.0/data</value>
</property>
=========hdfs-site.xml=====
<!-- 分布式副本数设置为3 -->
    <!--存放到hdfs上的文件的副本数,伪分布式配置为1 -->  
    <property>  
        <name>dfs.replication</name>  
        <value>3</value>  
    </property>  
    <!-- 配置 secondarynamenode 主机名 -->  
    <property>  
        <name>dfs.namenode.secondary.http-address</name>  
        <value>jeffrey.hadoop01.com:50090</value>  
    </property>
    <!-- 关闭权限检查用户或用户组 -->
    <property>  
      <name>dfs.permissions.enabled</name>  
      <value>false</value>  
    </property>
============yarn-site.xml=======
    <!-- 指定ResorceManager所在服务器的主机名-->  
    <property>  
        <name>yarn.resourcemanager.hostname</name>  
        <value>jeffrey.hadoop01.com</value>  
    </property>  
    <!-- 指明在执行MapReduce的时候使用shuffle-->  
    <property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
    </property>  
    <!--启用日志聚合功能-->  
    <property>  
        <name>yarn.log-aggregation-enable</name>  
        <value>true</value>  
    </property>  
    <!--日志保存时间 默认保存3-7-->   
    <property>  
        <name>yarn.log-aggregation.retain-seconds</name>  
        <value>106800</value>  
    </property>  
=========================mapred-site.xml============
$ cp mapred-site.xml.template mapred-site.xml

    <!-- 指定MapReduce基于Yarn来运行-->  
    <property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
    </property>
	    <property>  
      <name>mapreduce.jobhistory.address</name>  
      <!--配置实际的主机名和端口-->  
      <value>jeffrey.hadoop01.com:10020</value>  
    </property>  
      
    <property>  
      <name>mapreduce.jobhistory.webapp.address</name>  
      <value>jeffrey.hadoop01.com:19888</value>  
    </property>  
8.配置slaves,即指定datanode的节点的机器
jeffrey.hadoop03.com
jeffrey.hadoop04.com
jeffrey.hadoop05.com
    将slaves发送到其他机器
$ sudo scp /opt/modules/hadoop-2.7.3/etc/hadoop/slaves jeffrey.hadoop02.com:/opt/modules/hadoop-2.7.3/etc/hadoop/
$ sudo scp /opt/modules/hadoop-2.7.3/etc/hadoop/slaves jeffrey.hadoop03.com:/opt/modules/hadoop-2.7.3/etc/hadoop/
$ sudo scp /opt/modules/hadoop-2.7.3/etc/hadoop/slaves jeffrey.hadoop04.com:/opt/modules/hadoop-2.7.3/etc/hadoop/
$ sudo scp /opt/modules/hadoop-2.7.3/etc/hadoop/slaves jeffrey.hadoop05.com:/opt/modules/hadoop-2.7.3/etc/hadoop/

9.删除data/dfs,并格式化namenode

$ rm -rf data/dfs 
$ bin/hdfs namenode -format

10.启动服务

$ sbin/start-all.sh

启动完成后发现主节点namenode resourcemanager 在hadoop01上,从节点 datanode nodemanager在hadoop03.hadoop04.hadoop05上,和我们配置的完全一样。

分布式就此搭建完成。

二、Zookeeper搭建

1.上传并解压到modules,创建工作目录data

$ tar -zxvf zookeeper-3.4.12.tar.gz -C ../modules/
$ mkdir data

2.在zookeeper下的conf里面复制一个zoo_sample.cfg并命名为zoo.cfg,编辑zoo.cfg

$ cp zoo_sample.cfg zoo.cfg 
$ vi zoo.cfg 

3.编辑zoo.cfg

    a.配置工作目录的路径,新建data,把myid存放到data目录

    b.配置zookeeper所在的服务器


2888选举投票的端口号 3888内部通讯的端口号
service.1 service.2 service.3 中的 1,2,3就是myid

4.配置myid,如图:

5.Zookeeper发送给04,05 并更改04.05的myid

$ scp -r zookeeper-3.4.12/ jeffrey.hadoop04.com:/opt/modules/
$ scp -r zookeeper-3.4.12/ jeffrey.hadoop05.com:/opt/modules/


6.配置完成后即可启动,启动要遵循Zookeeper的2n+1原则,所以要启动2台机(半数以上)才可以运行。

$ bin/zkServer.sh start


第二台启动时完成。


根据Zookeeper的选址规则,myid为3的为leader 其余两台为followe。


三、HA环境部署

1.第一台中停止服务,后面三台的zookeeper不停,并确认zookeeper启动

$ bin/zkServer.sh status


2.配置环境文件 hadoop-env.sh、 mapred-env.sh、yarn-env.sh

3.配置文件

    a).core-site.xml 

    <!-- 指定hdfs的nameservice为ns1 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1</value>
    </property>
    
    <!-- 指定hadoop临时目录 -->
    <!--hadoop在运行时产生的文件,元数据在本地的存放目录 --> 
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/modules/hadoop-2.7.3/data</value>
    </property>
    <!--指定zookeeper运行的节点-->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>jeffrey.hadoop03.com:2181,jeffrey.hadoop04.com:2181,jeffrey.hadoop05.com:2181</value>
    </property>

    b).hdfs-site.xml

        <property>
		<name>dfs.nameservices</name>
		<value>ns1</value>
	</property>
	<!-- ns1下面有两个NameNode,分别是nn1,nn2 -->
	<property>
		<name>dfs.ha.namenodes.ns1</name>
		<value>nn1,nn2</value>
	</property>
	<!-- nn1的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn1</name>
		<value>jeffrey.hadoop01.com:9000</value>
	</property>
	<!-- nn1的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn1</name>
		<value>jeffrey.hadoop01.com:50070</value>
	</property>
	<!-- nn2的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn2</name>
		<value>jeffrey.hadoop02.com:9000</value>
	</property>
	<!-- nn2的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn2</name>
		<value>jeffrey.hadoop02.com:50070</value>
	</property>
	<!-- 指定NameNode的元数据在JournalNode上的存放位置,和zookeeper在一台机器上 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://jeffrey.hadoop03.com:8485;jeffrey.hadoop04.com:8485;jeffrey.hadoop05.com:8485/ns1</value>
	</property>
	<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/opt/modules/hadoop-2.7.3/data/journal</value>
	</property>
	<!-- 配置隔离机制方法,多个机制用换行分割,即每个机制暂用一行
        sshfence:当Active出问题后,standby切换成Active,此时,原Active又没有停止服务,这种情况下会被强制杀死进程。
        shell(/bin/true):NN Active和它的ZKFC一起挂了,没有人通知ZK,ZK长期没有接到通知,standby要切换,此时,standby调一
        个shell(脚本内容),这个脚本返回true则切换成功。
        -->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
			sshfence
			shell(/bin/true)
		</value>
	</property>
	<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/[whoami]/.ssh/id_rsa</value>
	</property>
	<!-- 配置sshfence隔离机制超时时间 -->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>
	<!--开启故障自动转移-->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>	
	<property>
		<name>dfs.client.failover.proxy.provider.ns1</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>

    c).mapred-site.xml

    <!-- 指定MapReduce基于Yarn来运行-->  
    <property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
    </property>
	    <property>  
      <name>mapreduce.jobhistory.address</name>  
      <!--配置实际的主机名和端口-->  
      <value>jeffrey.hadoop01.com:10020</value>  
    </property>  
    <property>  
      <name>mapreduce.jobhistory.webapp.address</name>  
      <value>jeffrey.hadoop01.com:19888</value>  
    </property>
    d).yarn-site.xml
    <!--启用日志聚合功能-->  
    <property>  
        <name>yarn.log-aggregation-enable</name>  
        <value>true</value>  
    </property>  
    <!--日志保存时间 默认保存3-7-->   
    <property>  
        <name>yarn.log-aggregation.retain-seconds</name>  
        <value>106800</value>  
    </property>  

    <!-- 指明在执行MapReduce的时候使用shuffle--> 
    <!-- 指定nodemanager启动时加载server的方式为shuffle server -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--启用resourcemanager ha-->
    <property>
       <name>yarn.resourcemanager.ha.enabled</name>
       <value>true</value>
    </property>
    
    <property>
       <name>yarn.resourcemanager.cluster-id</name>
       <value>rmcluster</value>
    </property>

    <property>
       <name>yarn.resourcemanager.ha.rm-ids</name>
       <value>rm1,rm2</value>
    </property>

    <!-- 指定ResorceManager所在服务器的主机名-->  
    <property>
       <name>yarn.resourcemanager.hostname.rm1</name>
       <value>jeffrey.hadoop01.com</value>
    </property>
    <property>
       <name>yarn.resourcemanager.hostname.rm2</name>
       <value>jeffrey.hadoop02.com</value>
    </property>

    <!--指定zookeeper集群的地址--> 
    <property>
       <name>yarn.resourcemanager.zk-address</name>  
       <value>jeffrey.hadoop03.com:2181,jeffrey.hadoop04.com:2181,jeffrey.hadoop05.com:2181</value>
    </property>

    <!--启用自动恢复--> 
    <property>
       <name>yarn.resourcemanager.recovery.enabled</name>
       <value>true</value>
    </property>

    <!--指定resourcemanager的状态信息存储在zookeeper集群--> 
    <property>
       <name>yarn.resourcemanager.store.class</name>
       <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
4.分发配置文件到其他机器
scp etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml etc/hadoop/yarn-site.xml jeffrey.hadoop02.com:/opt/modules/hadoop-2.7.3/etc/hadoop/
scp etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml etc/hadoop/yarn-site.xml jeffrey.hadoop03.com:/opt/modules/hadoop-2.7.3/etc/hadoop/
scp etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml etc/hadoop/yarn-site.xml jeffrey.hadoop04.com:/opt/modules/hadoop-2.7.3/etc/hadoop/
scp etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml etc/hadoop/yarn-site.xml jeffrey.hadoop05.com:/opt/modules/hadoop-2.7.3/etc/hadoop/

5.启动hadoop集群,按顺序执行以下操作

    a).如果有,删除hadoop中的tmp目录和journal目录(bigdata1)
        $ rm -rf data/
        $ rm -rf logs/

    b).启动zk(03,04,05上执行),之前没有关闭,所以查看以下进程确保启动
        $ bin/zkServer.sh start


    c).启动journalnode(03,04,05上执行)

        $ sbin/hadoop-daemon.sh start journalnode


    d).格式化hdfs(01上执行)
        $ bin/hdfs namenode -format


    e).同步nn1的元数据信息(02上执行)
        $ bin/hdfs namenode -bootstrapStandby        ##同步数据

    f).格式化ZKFC(01上执行)

        $ bin/hdfs zkfc -formatZK

    g).启动hdfs(01上执行)
        $ sbin/start-dfs.sh

    h).启动yarn
        $ sbin/start-yarn.sh (01上执行)
        $ sbin/yarn-daemon.sh start resourcemanager (02上执行)
        
    i).查看web
    http://jeffrey.hadoop01.com:50070/        ##active

    http://jeffrey.hadoop02.com:50070/        ##standby


    
    j).手动切换namenode状态
    $ bin/hdfs haadmin -transitionToActive nn1    ##切换成active
    $ bin/hdfs haadmin -transitionToStandby nn1    ##切换成standby
    
    k).查看状态
    $ bin/hdfs haadmin -getServiceState nn1      #查看nn1状态
    $ bin/hdfs haadmin -getServiceState nn2      #查看nn2状态
    $ bin/yarn rmadmin -getServiceState rm1      #查看rm1状态
    $ bin/yarn rmadmin -getServiceState rm2      #查看rm2状态


  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值