一、准备工具
1、六台服务器 zk:master slave1 slave2 ; hadoop 和hbase 共用 :hadoop01 hadoop02 hadoop03
直接配好hosts 文件 六台服务器配置一样
2、设置 ssh 免密码登陆
分别在每个机器上产生免密码登录需要的公私钥对
[root@hadoop01 ~]ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
[root@hadoop01 ~]cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
将每个机器的公钥文件拷贝一个统一的机器上
(将hadoop01和02的统一拷贝到03上)
[root@hadoop01 ~]# scp /root/.ssh/id_dsa.pub root@hadoop03:/root/.ssh/id_1_dsa.pub
[root@hadoop02 ~]# scp /root/.ssh/id_dsa.pub root@hadoop03:/root/.ssh/id_2_dsa.pub
(在03机器上,将其他机器的公钥添加到信任列表中)
[root@hadoop03 ~]# cat /root/.ssh/id_1_rsa.pub >> /root/.ssh/authorized_keys
[root@hadoop03 ~]# cat /root/.ssh/id_2_rsa.pub >> /root/.ssh/authorized_keys
(03机器上的authorized_keys就保存了所有机器的公钥)
将03机器上的authorized_key2进行同步
[root@hadoop03 ~]# scp /root/.ssh/authorized_keys root@hadoop01:/root/.ssh/
[root@hadoop03 ~]# scp /root/.ssh/authorized_keys root@hadoop02:/root/.ssh/
六台机器都设置好 通过ssh hostname (hadoop01/slave1/slave2/hadoop02/haoop03)这样测试 不用输入密码即设置成功.
3、第一步配置 要配置好JDK1.8
下载安装包
软件容易放在 /home/hadoop/app/ 该目录下方便管理
正常步骤 解压 然后配置环境变量 vi /etc/profile
unset i
unset -f pathmunge
export JAVA_HOME=/home/hadoop/app/jdk1.8
export ZK_HOME=/home/hadoop/app/zookeeper-3.4.6
export HADOOP_HOME=/home/hadoop/app/hadoop-2.7.1
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export CLASSPATH=.
先把 java_home配置好 六台机器配置一样
测试 配置是否成功
如果成功就开始配置zookeeper 了
4、搭建zookeeper 集群环境 把下载好的 zookeeper3.4.6 上传到服务器后解压
本人是建立了一个目录 因为是root 用户 于是在 home下创建了目录
上传到 /home/hadoop/app/ zookeeper-3.4.6.tar.gz 下面 tar -zxvf 解压
cd zookeeper-3.4.6/conf/ 把原有的 zoo_sample.cfg的复制一份将文件名改为zoo.cfg
里面修改为 我的三个zookeeper 服务是 这三个ip也就是 master 、slave1、slave2
tickTime=2000
initLimit=100
syncLimit=50
dataDir=/home/hadoop/zookeeper/zkdata
dataLogDir=/home/hadoop/zookeeper/zkdatalog
clientPort=2181
server.1=192.168.17.129:2888:3888
server.2=192.168.17.131:2888:3888
server.3=192.168.17.133:2888:3888
三台装载zookeeper 服务器的都如上操作 然后创建 dataDir目录
然后在稀土目录下创建一个 myid 的文件 里面内容为根据 zk服务器 不同 分别是 1 2 3 根据上面的server.1 server.2 server.3
可以直接启动zookeeper了
cd /home/hadoop/app/zookeeper-3.4.6/bin
进入该目录后三台zk服务器都运行下面的命令
./zkServer.sh start 启动zkServer 服务
./zkServer.sh status 查看状态
会有一台 leader 和 两台 follower
5、开始搭建hadoop
解压文件 配置文件
cd /home/hadoop/app/hadoop-2.7.1/etc/hadoop/
I. core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.defaultFS.name</name>
<value>hdfs://hadoop01:9000</value>
</property>
<!-- 指定hdfs的nameservices名称为mycluster,与hdfs-site.xml的HA配置相同 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/cdh/hadoop-2.7.1/data/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>10</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>master:2181,slave1:2181,slave2:2181</value>
</property>
</configuration>
II.hdfs-size.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>hadoop01:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>hadoop02:8020</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>hadoop01:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>hadoop02:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop01:8485;hadoop02:8485/mycluster</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop/app/cdh/hadoop-2.7.1/data/journal</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/app/cdh/hadoop-2.7.1/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/app/cdh/hadoop-2.7.1/data/datanode</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
</configuration>
III.hadoop-env.sh
导入 jdk 环境变量
export JAVA_HOME=/home/hadoop/app/jdk1.8
在这里 顺便把hadoop的环境变量给加到 /etc/profile 中 上边环境变量的图中有
IV, mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
V. yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/logs</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>2</value>
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarncluster</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop02</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>hadoop01:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>hadoop02:8088</value>
</property>
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>master:2181,slave1:2181,slave2:2181</value>
</property>
</configuration>
VI. slaves文件
在里面写好 hadoop01 hadoop02 hadoop03 每个写一行
就是 安装hadoop的三台服务的hostname 映射ip
现在就可以启动hadoop了
第一次启动的时候要进行初始化操作
步骤
我这里是以hadoop01 为主 其他两个为slave 在配置文件中能看出来
1. 启动journalnode 三台服务器都运行该命令
cd /home/hadoop/app/hadoop-2.7.1/sbin/hadoop-daemon.sh start journalnode
#运行jps命令检验,上多了JournalNode进程
2.格式化HDFS
#在hadoop01上执行命令:
hdfs namenode -format
好多都在这个地方出现问题 自己根据配置改改 去网上扒扒答案
3.如果zookeeper设置了高可用HA,否则跳过该步,格式化ZK(在hadoop01上执行即可)
hdfs zkfc -formatZK
4.启动HDFS(在hadoop01上执行)
sbin/start-dfs.sh
5.启动YARN(#####注意#####:是在hadoop03上执行start-yarn.sh,把namenode和resourcemanager分开是因为性能问题,因为他们都要占用大量资源,所以把他们分开了,他们分开了就要分别在不同的机器上启动)
sbin/start-yarn.sh
6、可以搭建hbase 了
修改配置文件
I. hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop01/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hadoop/zookeeper/zkdata</value>
</property>
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>
<property>
<name>hbase.master</name>
<value>mycluster:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave1,slave2</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.zookeeper.peerport</name>
<value>2888</value>
</property>
<property>
<name>hbase.zookeeper.leaderport</name>
<value>3888</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>60000000</value>
</property>
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>
</configuration>
II. hbase-env.sh
添加
export JAVA_HOME=/home/hadoop/app/jdk1.8/
如果用 hbase 自带的zookeeper 则不用修改下面命令
export HBASE_MANAGES_ZK=false // 用自己配置的zookeeper
III.regionservers 文件添加 regionservers 服务的hostname
然后 运行
cd /home/hadoop/app/hbase-1.2.6/bin/
./start-hbase.sh start
jps 三台服务器查看结果