hadoop（高可用HA）的安装和配置

安装配置zookceper：
1.克隆三台虚拟机
/etc/hosts进行绑定主机名:ip
2.配置网络：
在文件夹下的cd /etc/udev/rules.d/
修改文件 vi 70-persistent-net.rules
将eth0删除，将eth1改为eth0
然后就是在vi /etc/sysconfig/network-scripts/ifcfg-eth0
进行配置修改
3.修改主机名是在文件夹：cat /etc/sysconfig/network
绑定ip和主机名：vi /etc/hosts
4.ssh免密码登陆：
1>生成公钥和私钥：ssh-keygen
2>拷贝公私钥发送给其他主机：ssh-copy-id slave2
3>远程拷贝命令：scp -r/rf 包名 ip:路径。例如scp -r /etc/hosts 192.168.15.155:/etc/
5.配置yum
1>打开挂载点：cd/mnt/
2>在下面的挂载点下创建：mkdir cdrom
3>打开光盘就会找到挂载点cdrom：cd /dev
4>将cdrom挂载到那个新建的 /mnt/cdrom上
mount -t iso9660 -o ro /dev/cdrom /mnt/cdrom/
5>将挂载点添加到yum仓库配置文件中/etc/yum.repo.d
将/etc/yum。repo.d下的全部重新命名为.repo.bak命令如下:
rename .repo .repo.bak *
创建我们自己的仓库名：
[local]
name=local_bd1704
baseurl=file:///mnt/localResource //仓库路径
gpgcheck=1
enabled=1 //是否启动此仓库0不启动 1启动
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
6>执行yum clean all清除缓存
7>yum repolist 查看仓库列表
6.创建用户：hadoop：
查看有多少用户：cat /etc/group
useradd hadoop
passwd hadoop
获取临时超级权限的配置：cat /etc/sudoers
7.上传jdk、Hadoop、zookeper
8.解压：tar -xvzf 包名
压缩：tar -cvzf 包名
9.环境变量配置：/etc/profile
export JAVA_HOME=”路径”
export PATH=$PATH:$JAVA_HOME/bin
用java -version检测如果出现的不是自己安装的那个的话，使用通道符检查在哪了：
rpm -qa | grep jdk
删除使用命令：
rpm -e 文件 –nodeps

10.进入zookeeper下的conf 将zook…cfg修改为zook.cfg
vi zook.cfg:
dataDir=/home/hadoop/zookeeperdata
server.1=slave1:2888:3888
server.2=slave2:2888:3888
server.3-slave3:2888:3888
11.mkdir zookeeperdata
用命令 echo 1 > myid
每一台主机的myid的内容都保存的内容和service.1对应
12.配置免密登陆：ssh-keygen ssh-copy-id
在本机生成公钥和私钥时分别发给各个主机
13.开启zookeeper：zkService.sh start
关闭防火墙：
查看：service iptables status
关闭：service iptables stop
14.hadoop的HA安装
1.解压hadoop：tar -xzvf 包名
2.配环境变量：/etc/profile
HADOOP_HOME=””
:%HADOOP_HOME%/bin
3.检查hadoop环境，hadoop version
16.修改hadoop配置文件6个
1.hadooop-env.sh:将JAVA_HOME配置进去
2.core-site.xml:放的公共信息、临时文件


fs.defaultFS
hdfs://bd1704/



hadoop.tmp.dir
/home/hadoop/hadoopdata

    <!-- 指定zookeeper地址 -->
    <property>
    <name>ha.zookeeper.quorum</name>
    <value>slave01:2181,slave02:2181,slave03:2181</value>
    </property>

3.hdfs-site.xml


dfs.nameservices
bd1704



dfs.ha.namenodes.bd1704
bd01,bd02



dfs.namenode.rpc-address.bd1704.bd01
master:9000



dfs.namenode.http-address.bd1704.bd01
master:50070



dfs.namenode.rpc-address.bd1704.bd02
slave01:9000



dfs.namenode.http-address.bd1704.bd02
slave01:50070



dfs.namenode.shared.edits.dir
qjournal://slave01:8485;slave02:8485;slave03:8485/bd1704



dfs.journalnode.edits.dir
/home/hadoop/journalnodedata



dfs.ha.automatic-failover.enabled
true



dfs.client.failover.proxy.provider.bd1704
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider



dfs.ha.fencing.methods

sshfence
shell(/bin/true)




dfs.ha.fencing.ssh.private-key-files
/home/hadoop/.ssh/id_rsa



dfs.ha.fencing.ssh.connect-timeout
30000

4.maperd-site.xml:cp mapred-site.xml.template mapred-site.xml

    <!-- 指定mr框架为yarn方式 -->
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>

5.yarn-site.xml


yarn.resourcemanager.ha.enabled
true



yarn.resourcemanager.cluster-id
myid



yarn.resourcemanager.ha.rm-ids
rm1,rm2



yarn.resourcemanager.hostname.rm1
master


yarn.resourcemanager.hostname.rm2
slave01



yarn.resourcemanager.zk-address
slave01:2181,slave02:2181,slave03:2181


yarn.nodemanager.aux-services
mapreduce_shuffle

6.slaves

    slave1
    slave2
    slave3

17.发送到其他三个节点
scp -r /haddop.2.7 slave_x/home/hadoop
18.发送配置文件：/etc/profile
19.source一下
20.关闭所有防火墙
21.开启三个节点（1，2，3）的zookeeper:zkService.sh start
22.检查：zkService.sh status
23.jps检查
24.开启journalnode(1，2，3都开):
25.jps
26.格式化HDFS,madter上执行:hadoop namenode -format
27.将主节点的hadoopdata发送到slave1
28.格式化ZKFC(master执行)：hdfs zkfc -formatZK
29.启动HDFS(master执行)：start-dfs.sh
30.启动yarn（在slave1上启动）：sbin/start-yarn.sh