说明：
本文档实现hdfs的HA功能，其中zookeeper的配置不变，hbase的配置略作修改，同时启用backup master
主要是修改hadoop的配置，相关内容：
参见：1-0三台PC集群的搭建（noHA）。
1.HADOOP 修改
实现HDFS的HA的搭建，
部署目录：/opt/hadoop-2.2.0
(1)创建目录（变化）
Namenode节点（master1，slave1）：
mkdir –p /data/hdfs/nn
Journal节点（master1，slave1，slave2）
mkdir –p/data/journal
所有hadoop(master1,slave1-2)节点：
mkdir –p/data/tmp_hadoop /data/hdfs/dn /data/log/hadoop-hdfs /data/log/hadoop-yarn /data/log/hadoop-mapred /data/yarn/local /data/yarn/logs
(2)环境变量
vi/etc/profile.d/hadoop.sh
添加
#set hadoop environment
export HADOOP_HOME=/opt/hadoop-2.2.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
(3)配置文件修改
1）配置masters（变化）
#标识secondarynamendoe,这里采用了HA方案，这个配置缺省。
2） 配置slaves
#标识集群的datanode
master1
slave1
slave2
3） 配置hadoop-env.sh
export JAVA_HOME=/opt/jdk1.7.0_45
export HADOOP_LOG_DIR=/data/log/hadoop-hdfs
export YARN_LOG_DIR=/data/log/hadoop-yarn
export HADOOP_MAPRED_LOG_DIR=/data/log/hadoop-mapred
4） 配置yarn-env.sh
export JAVA_HOME=/opt/jdk1.7.0_45
5）编辑core-site.xml（变化）
<!--- global properties -->
<property>
<name>hadoop.tmp.dir</name>
<value>/data/tmp_hadoop</value>
<!-- /tmp/hadoop-${user.name} -->
<!--A base for other temporarydirectories-->
</property>
<!-- file system properties -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
<!--默认的文件服务的协议和NS逻辑名称-->
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
<!--24h,0代表关闭-->
</property>
<property>
<name>fs.trash.checkpoint.interval</name>
<value>1440</value>
<!--一般小于等于fs.trash.interval-->
</property>
<!-- i/o properties -->
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
<!--读写序列化文件缓冲区大小-->
</property>
<!-- Local file system -->
<property>
<name>dfs.blocksize</name>
<value>67108864</value>
<!--268435456256M-->
</property>
<!--HTTP web-consoles Authentication -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
<!--sshfence,brainsplit-->
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
<!--启用kerberos后，应该是用户hdfs-->
</property>
<!--Static Web User Filter properties. -->
<property>
<name>ha.zookeeper.quorum</name>
<value>master1:2181,slave1:2181,slave2:2181</value>
</property>
6）编辑hdfs-site.xml（变化）
<!---默认的文件服务的协议和NS逻辑名称-- >
<!--需要配置本地目录的地方-->
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/hdfs/nn</value>
<!--file://${hadoop.tmp.dir}/dfs/name-->
<!--命名空间和事务处理日志-->
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/hdfs/dn</value>
<!--file://${hadoop.tmp.dir}/dfs/data-->
<!--DataNode本地文件存储的路径-->
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/data/journal</value>
<!--JournalNode 所在节点上的一个目录，用于存放 editlog和其他状态信息-->
</property>
<!--security -->
<property>
<name>dfs.permissions.superusergroup</name>
<value>hadoop</value>
</property>
<!--HDFS_HA-->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
<!-- HDFS命名服务的逻辑名称mycluster-->
</property>
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
<!--mycluster下有两个NameNode，为 nn1(master1)和nn2(master2)-->
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>master1:8020</value>
<!--每个NameNode 设置RPC 地址-->
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>slave1:8020</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>master1:50070</value>
<!--每个NameNode 对外的 HTTP地址-->
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>slave1:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://master1:8485;slave1:8485;slave2:8485/mycluster</value>
<!--设置一组journalNode 的 URI 地址-->
</property>
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
<!--客户端与active NameNode 进行交互的 Java实现类（默认） -->
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
<!--autofailover,ZKFC-->
</property>
<property>
<name>dfs.namenode.handler.count</name>
<value>100</value>
<!--namenode服务线程数-->
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
<!--冗余备份数目，一般为3-->
</property>
7）编辑yarn-site.xml
<!--ForResourceManager-->
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/data/yarn/local</value>
<!--${hadoop.tmp.dir}/nm-local-dir-->
<!—NM存放临时文件的本地目录-->
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/data/yarn/logs</value>
<!--${yarn.log.dir}/userlogs-->
<!—NM存放container日志的本地目录-->
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/tmp/logs</value>
<!--开启日志聚合后，container日志在HDFS目录-->
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir-suffix</name>
<value>logs</value>
<!—日志目录后缀{yarn.nodemanager.remote-app-log-dir}/${user}/${thisParam}-->
</property>
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
<!--Datanode 有一个同时处理文件的上限, Hbase中要求修改的-->
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
<!--是否启用日志聚合-->
</property>
<!-- ResourceManager Configs -->
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>slave2:8088</value>
<!--RMweb-->
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>slave2:8033</value>
<!--RM admin interface.-->
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>slave2:8032</value>
<!--RM设置客户端提交job-->
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>slave2:8030</value>
<!--schedulerinterface -->
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>slave2:8031</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
<!--resource scheduler class-->
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>512</value>
<!--RM分配给每个container的最小内存-->
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>4096</value>
<!--RM分配给每个container的最大内存-->
</property>
<!--NodeManager-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>8192</value>
<!--定义NM上可以分配给container的物理内存总量-->
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
<!--最大虚拟内存比例for each container,-->
</property>
<property>
<name>yarn.nodemanager.log.retain-seconds</name>
<value>10800</value>
<!--container日志在NM本地保存的默认时间,日志聚合关闭时有效-->
</property>
<!--JobHistoryServer-->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>-1</value>
<!--设置聚合日志保留时间-->
</property>
<property>
<name>yarn.log-aggregation.retain-check-interval-seconds</name>
<value>-1</value>
<!--参照聚合日志保留时间-->
</property>
8）编辑mapred-site.xml
<!-- MapReduce -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<!--运行框架设置为 HadoopYARN-->
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>1536</value>
<!--Maps最大资源-->
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx1024M</value>
<!--Maps Child JVM的heap-size堆大小-->
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>3072</value>
<!--Reduces最大资源-->
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx2560M</value>
<!--Reduces Child JVM的heap-size堆大小-->
</property>
<property>
<name>mapreduce.task.io.sort.mb</name>
<value>512</value>
<!--sort整理数据最大使用内存设置-->
</property>
<property>
<name>mapreduce.task.io.sort.factor</name>
<value>100</value>
<!--整理数据时一次合并的流数量-->
</property>
<property>
<name>mapreduce.reduce.shuffle.parallelcopies</name>
<value>50</value>
<!--Reduce运行的最大并行复制数量，用来获取大量maps的输出-->
</property>
<!--JobHistoryServer,另一部分配置在yarn-site.xml-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>slave1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>slave1:19888</value>
<!--MRJobHistory服务的web界面-->
</property>
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/mr-history/tmp</value>
<!--MRjobs写入history files的目录-->
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/mr-history/done</value>
<!--JHS管理的history files目录-->
</property>
<property>
<name>mapreduce.shuffle.port</name>
<value>13562</value>
</property>
D）分发软件包到所有hadoop节点上
E）测试：
Step1:初始化：(all代表master1,slave1,slave2)
1）首先必须启动三台机子上的zookeeper
（all）zkServer.sh start
2）初始化zoookeeper（格式化znode）（在nn1，nn2中任意一台上进行都可以）
（nn1）bin /hdfs zkfc-formatZK
3）启动三台机子上的journalnode,
（all）hadoop-daemon.shstart journalnode
4）(在其中一个namenode上,这里选择nn1)
格式化 NameNode
(nn1)bin/ hadoopnamenode –format
然后在master1上启动namenode
(nn2)sbin/ hadoop-daemon.sh start namenode
5）然后复制该 NameNode的dfs.namenode.name.dir 目录的数据到另外一个 NameNode的同一目录中（可以scp）。（让 NN2 从 NN1 上拉取最新的 FSimage：）
(nn2) bin/hdfsnamenode -bootstrapStandby [-force | -nonInteractive]
启动nn2上的namenode
(nn2)sbin/hadoop-daemon.sh startnamenode
6）此刻nn1,nn2都是standby,可以去查看
master1:50070,和slave1:50070，
启动zkfc服务
(nn1)sbin/hadoop-daemon.shstart zkfc
(nn2)sbin/hadoop-daemon.shstart zkfc
7）人工切换(在nn1和nn2任意一台上进行)
bin /hdfshaadmin -failover nn1 nn2
(standby) (active)
8）在avtive上kill 掉namenode
刷新原先standbynamenode的网页，standby—active。
Step2：正常启动HA
（all）zkServer.sh start
（nn1或nn2）：sbin/start-dfs.sh
启动YARN：(单独配置到master3上)
启动yarn（RM所在机器上，master3）
start-yarn.sh
访问slave2:8088查看RM
启动JobHistoryServer(JHS所在机器上，master4)
mr-jobhistory-daemon.sh start historyserver
访问slave1:19888查看JHS
6.hbase集群修改
a) 前提：Hadoop集群，zookeeper集群已搭建好。
下载hbase-0.96.0-hadoop2-bin.tar.gz
部署目录：/opt/hbase-0.96.0-hadoop2
b) Hbase节点上创建目录：
mkdir –p/data/hbase/logs
mkdir –p/data/hbase/tmp_hbase
c) 环境变量：
vi/etc/profile.d/java.sh (编辑文件)
#set HBase environment
export HBASE_HOME=/opt/hbase-0.96.0-hadoop2
export PATH=$PATH:$HBASE_HOME/bin
export HBASE_HEAPSIZE=4096
d) 修改最大文件句柄限制
HBase是数据库，会在同一时间使用很多的文件句柄。大多数linux系统使用的默认值1024是不能满足的，
（ubuntu为例）
gedit /etc/security/limits.conf
hadoop -nofile 32768
hadoop soft/hard nproc 32000
gedit /etc/pam.d/ common-session
session required pam_limits.so
e) 替换包
在分布式模式下，Hadoop版本必须和HBase下的版本一致。用你运行的分布式Hadoop版本jar文件替换HBaselib目录下的Hadoop jar文件，以避免版本不匹配问题。确认替换了集群中所有HBase下的jar文件。Hadoop版本不匹配问题有不同表现，但看起来都像挂掉了。（habse-0.96.0+hadoop-2.2.0，其中替换17个jar包）
1）启用backupHMaster
在conf下新建文件backup-masters，写入作为backupmaster的主机名，这里设定master1为主master，slave1为backup
slave1
2）修改/conf/regionservers文件，增加regionserver
master1
slave1
slave2
3）修改 /conf/hbase-env.sh
export JAVA_HOME=/opt/jdk1.7.0_45
export HBASE_CLASSPATH=/opt/hadoop-2.2.0/etc/hadoop
export HBASE_MANAGES_ZK=false
export HBASE_LOG_DIR=/data/hbase/logs
4）修改./conf/hbase-site.xml文件
<property>
<name>hbase.master</name>
<value>master1:60000</value>
</property>
<!--region server的共享目录，用来持久化Hbase-->
<property>
<name>hbase.rootdir</name>
<value>hdfs://mycluster/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master1,slave1,slave2</value>
<description>The directory shared by regionservers. </description>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>60000</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>/data/hbase/tmp_hbase</value>
</property>
<property>
<name>hbase.regionserver.restart.on.zk.expire</name>
<value>true</value>
</property>
<property>
<name>hbase.regionserver.handler.count</name>
<value>10</value>
<description> 处理用户请求的线程数量，默认10</description>
</property>
5）分发软件包到所有hbase节点上
6）启动hbase
master1
bin/start-hbase.sh
slave1:60010
测试：bin/hbase shell
2989
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
