搭建高可用 zookeeper3.4.6 +hadoop2.7.1 +hbase1.2.6 环境

最新推荐文章于 2021-03-13 19:13:09 发布

琴起笙箫默

最新推荐文章于 2021-03-13 19:13:09 发布

阅读量422

点赞数

文章标签： hadoop hbase zookeeper

本文链接：https://blog.csdn.net/weixin_38669966/article/details/78833551

版权

一、准备工具

1、六台服务器 zk：master slave1 slave2 ； hadoop 和hbase 共用：hadoop01 hadoop02 hadoop03

直接配好hosts 文件六台服务器配置一样

2、设置 ssh 免密码登陆

分别在每个机器上产生免密码登录需要的公私钥对

[root@hadoop01 ~]ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

[root@hadoop01 ~]cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

将每个机器的公钥文件拷贝一个统一的机器上

(将hadoop01和02的统一拷贝到03上)

[root@hadoop01 ~]# scp /root/.ssh/id_dsa.pub root@hadoop03:/root/.ssh/id_1_dsa.pub

[root@hadoop02 ~]# scp /root/.ssh/id_dsa.pub root@hadoop03:/root/.ssh/id_2_dsa.pub

（在03机器上，将其他机器的公钥添加到信任列表中）

[root@hadoop03 ~]# cat /root/.ssh/id_1_rsa.pub >> /root/.ssh/authorized_keys

[root@hadoop03 ~]# cat /root/.ssh/id_2_rsa.pub >> /root/.ssh/authorized_keys

（03机器上的authorized_keys就保存了所有机器的公钥）

将03机器上的authorized_key2进行同步

[root@hadoop03 ~]# scp /root/.ssh/authorized_keys root@hadoop01:/root/.ssh/

[root@hadoop03 ~]# scp /root/.ssh/authorized_keys root@hadoop02:/root/.ssh/

六台机器都设置好通过ssh hostname （hadoop01/slave1/slave2/hadoop02/haoop03）这样测试不用输入密码即设置成功.

3、第一步配置要配置好JDK1.8

下载安装包

软件容易放在 /home/hadoop/app/ 该目录下方便管理

正常步骤解压然后配置环境变量 vi /etc/profile

unset i
unset -f pathmunge
export JAVA_HOME=/home/hadoop/app/jdk1.8
export ZK_HOME=/home/hadoop/app/zookeeper-3.4.6
export HADOOP_HOME=/home/hadoop/app/hadoop-2.7.1
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export CLASSPATH=.

先把 java_home配置好  六台机器配置一样

测试配置是否成功

如果成功就开始配置zookeeper 了

4、搭建zookeeper 集群环境把下载好的 zookeeper3.4.6 上传到服务器后解压

本人是建立了一个目录因为是root 用户于是在 home下创建了目录

上传到 /home/hadoop/app/ zookeeper-3.4.6.tar.gz 下面 tar -zxvf 解压

cd zookeeper-3.4.6/conf/ 把原有的 zoo_sample.cfg的复制一份将文件名改为zoo.cfg

里面修改为我的三个zookeeper 服务是这三个ip也就是 master 、slave1、slave2

tickTime=2000
initLimit=100
syncLimit=50
dataDir=/home/hadoop/zookeeper/zkdata
dataLogDir=/home/hadoop/zookeeper/zkdatalog
clientPort=2181
server.1=192.168.17.129:2888:3888
server.2=192.168.17.131:2888:3888
server.3=192.168.17.133:2888:3888

三台装载zookeeper 服务器的都如上操作然后创建 dataDir目录

然后在稀土目录下创建一个 myid 的文件里面内容为根据 zk服务器不同分别是 1 2 3 根据上面的server.1 server.2 server.3

可以直接启动zookeeper了

cd /home/hadoop/app/zookeeper-3.4.6/bin

进入该目录后三台zk服务器都运行下面的命令

./zkServer.sh start 启动zkServer 服务
./zkServer.sh status 查看状态

会有一台 leader 和两台 follower
5、开始搭建hadoop

解压文件配置文件

cd /home/hadoop/app/hadoop-2.7.1/etc/hadoop/

I. core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>


<configuration>
  
  <property>
    <name>fs.defaultFS.name</name>
    <value>hdfs://hadoop01:9000</value>
  </property>

  <!-- 指定hdfs的nameservices名称为mycluster，与hdfs-site.xml的HA配置相同 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://mycluster</value> 
        </property>

   <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/app/cdh/hadoop-2.7.1/data/tmp</value>
  </property>

    <property>
    <name>fs.trash.interval</name>
    <value>10</value>
  </property>
    <property>
      <name>io.file.buffer.size</name>
      <value>4096</value>
 </property>
    <property>
    <name>ha.zookeeper.quorum</name>
    <value>master:2181,slave1:2181,slave2:2181</value>
  </property>
</configuration>

II.hdfs-size.xml

<configuration>
   
   <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property> 
   

  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property> 

   <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
  </property>

  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>hadoop01:8020</value>
  </property>
  
   <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>hadoop02:8020</value>
  </property>


  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>hadoop01:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>hadoop02:50070</value>
  </property>
 
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hadoop01:8485;hadoop02:8485/mycluster</value>
  </property>
  

  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/home/hadoop/app/cdh/hadoop-2.7.1/data/journal</value>
  </property>


  <property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>


  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>








  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/hadoop/app/cdh/hadoop-2.7.1/data/namenode</value>
  </property>


  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/hadoop/app/cdh/hadoop-2.7.1/data/datanode</value>
  </property>
  

 


  <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
  </property>
  

  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
  </property>
  

  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
  </property>
  

  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
</configuration>

III.hadoop-env.sh

导入 jdk 环境变量

export JAVA_HOME=/home/hadoop/app/jdk1.8

在这里顺便把hadoop的环境变量给加到 /etc/profile 中上边环境变量的图中有

IV, mapred-site.xml

<configuration>
 
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

</configuration>

V. yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
   <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  
  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/logs</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>2</value>
  </property>
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yarncluster</value>
  </property>
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>hadoop01</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>hadoop02</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>hadoop01:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>hadoop02:8088</value>
  </property>
   <property>
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  </property> 
<property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>master:2181,slave1:2181,slave2:2181</value>
   </property>
</configuration>

VI. slaves文件

在里面写好 hadoop01 hadoop02 hadoop03 每个写一行

就是安装hadoop的三台服务的hostname 映射ip

现在就可以启动hadoop了

第一次启动的时候要进行初始化操作

步骤
我这里是以hadoop01 为主其他两个为slave 在配置文件中能看出来
1. 启动journalnode 三台服务器都运行该命令

cd /home/hadoop/app/hadoop-2.7.1/sbin/hadoop-daemon.sh start journalnode
   #运行jps命令检验，上多了JournalNode进程
2.格式化HDFS
   #在hadoop01上执行命令:
   hdfs namenode -format
好多都在这个地方出现问题自己根据配置改改去网上扒扒答案

3.如果zookeeper设置了高可用HA，否则跳过该步，格式化ZK(在hadoop01上执行即可)
   hdfs zkfc -formatZK
4.启动HDFS(在hadoop01上执行)
   sbin/start-dfs.sh

5.启动YARN(#####注意#####：是在hadoop03上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)
sbin/start-yarn.sh

6、可以搭建hbase 了

修改配置文件

I. hbase-site.xml

<configuration>

   <property>
        <name>hbase.rootdir</name>
        <value>hdfs://hadoop01/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
  </property>
 

  <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/home/hadoop/zookeeper/zkdata</value>
  </property>
  <property>
        <name>hbase.master.info.port</name>
        <value>60010</value>
  </property>
  <property>
        <name>hbase.master</name>
        <value>mycluster:60000</value>
  </property>
   <property>
        <name>hbase.zookeeper.quorum</name>
        <value>master,slave1,slave2</value>
  </property>
  <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
  </property>
  <property>
        <name>hbase.zookeeper.peerport</name>
        <value>2888</value>
  </property>
  <property>
        <name>hbase.zookeeper.leaderport</name>
        <value>3888</value>
  </property>
<property>
        <name>zookeeper.session.timeout</name>
        <value>60000000</value>
    </property>
    <property>
        <name>dfs.support.append</name>
        <value>true</value>
    </property>
</configuration>

II. hbase-env.sh

添加
export JAVA_HOME=/home/hadoop/app/jdk1.8/

如果用 hbase 自带的zookeeper 则不用修改下面命令

export HBASE_MANAGES_ZK=false // 用自己配置的zookeeper

III.regionservers 文件添加 regionservers 服务的hostname

然后运行

cd /home/hadoop/app/hbase-1.2.6/bin/

./start-hbase.sh start

jps 三台服务器查看结果