大数据企业学习篇02_3-------hadoop高级

一.搭建分布式集群应该注意的问题

<1>集群搭建完成以后,需要进行基准测试，是为了测试集群的性能。
监控集群企业主要用Cloudera，Cloudera Manager
* 部署安装集群
* 监控集群
* 配置同步集群
* 预警。。。。。

<2>Centos复制克隆虚拟机，虚拟网卡变成了eth1,如何解决？
*切换root
*vi /etc/udev/rules.d/70-persistent-ipoib.rules
*vi /etc/sysconfig/network-scripts/ifcfg-eth0
*重启机器即可恢复
<3>集群时间同步
* 找一台机器
时间服务器
* 所有的机器与这台机器时间进行定时的同步
比如，每日十分钟，同步一次时间

1.rpm -qa|grep ntp   
2.vi /etc/ntp.conf 
  注释掉以下内容
#server 0.centos.pool.ntp.org
#server 1.centos.pool.ntp.org
#server 2.centos.pool.ntp.org
                #server 3.centos.pool.ntp.org iburst
把以下内容注释去掉，如果内容不存在 手动添加
server  127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10
去掉以下内容的#  192.168.30.0 修改自己的网段
restrict 192.168.30.0 mask 255.255.255.0 nomodify notrap
保存退出
3.vi /etc/sysconfig/ntpd
# Drop root to id 'ntp:ntp' by default.
    SYNC_HWCLOCK=yes
    OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -g"
4.service ntpd status
5.service ntpd start
6.chkconfig ntpd on
操作centos002.hadoop centos003.hadoop
去同步第一台centos001.hadoop这台服务器的时间
[root@centos002 ~]# service ntpd stop
 # chkconfig ntpd off
二三台服务器去同步第一台服务器时间：
# ntpdate centos001.hadoop
制定计划任务 周期性同步时间 二三台服务器
# crontab -e
*/10 * * * * /usr/sbin/ntpdate centos001
分 时 日 月 星期
重启 ：
# service crond restart

详情见

> http://blog.csdn.net/slibra_l/article/details/77716081

二、分布式协作框架Zookeeper

<1> *同步服务
*命名空间结构与文件系统类似
*基于观察者模式设计
<2>Zookeeper角色

<3>Zookeeper配置参数详解

三、 HDFS HA 架构部署测试

<1>背景

<2>HDFS HA设计


<3>QJM HA配置

注意： HA配置的四个要点：
* share edits
JournalNode
* NameNode
Active，Standby
* Client
Proxy
* fence
同一时刻仅仅有一个NameNode对外提供服务
使用的方式sshfence
两个NameNode之间能够ssh无密码登录
<4>QJM HA的启动

<5>NN HA自动故障转移