05hadoop

一. Zookeeper

1.zookeeper基本知识（过半机制）
大数据的生态圈

1.1zookeeper概述

zookeper是分布式协调服务的开源框架用来解决分布式集群中应用系统的一致性问题。本质是一个分布式的小文件存储系统。目录树的方式存储数据
1.2. zookeeper的特性
1.全局数据一致性：集群中每个服务器保存一份相同的数据副本，client无论连接到那个服务器展示的数据是一致的
2.可靠性：如果消息被一台服务器接受，那么将被所有服务器接受
3.顺序性：包括全局有序和偏序两种：全局有序是指
4.数据更新原子性：一次数据更新要么成功（一半以上节点成功），要么失败，不存在中间状态
5.实时性：保证客户端将在一个时间间隔范围获得服务器的更新信息，或者服务器失效信息

1.3zookeeper集群角色

1.leader既能读也能写保证集群事务处理的顺序性，集群内部各个服务器的调度者。lead需要决定编号，执行操作这个过程称为一个事务
2.follower只能读，当你需要写时，自动转发给lead参与集群lead选举投票
3.observer观察者角色： 最新状态的同步，对于非事务请求独立操作，对于事务则转发给lead，不参与lead的选举投票。
1.3 zookeeper集群的搭建
1.zookeeper集群搭建是指zookeeper分布式模式安装，通常由2n+1台server组成，这是为了保证leader选举，所以一般为奇数；zookeeper运行需要Java环境
2.安装leader+follower模式的集群大致过程如下
a:配置主机名称到ip地址映射配置；
b:修改zookeeper配置文件
c:设置myid（每台主机的编号，myid越大，选举优先选leader）
d:启动zookeeper集群
下载地址：http://archive.apache.org/dist/zookeeper/
上传解压
配置文件修改：
进入：/export/server/zookeeper-3.4.6/conf
cp zoo_sample.cfg zoo.cfg
mkdir -p /export/server/zookeeper-3.4.6/zkdatas/
vim zoo.cfg

配置myid：
在数据存放目录下创建一个文件，文件名myid文件内容为1
echo 1 > /export/server/zookeeper-3.4.6/zkdatas/myid
分发：scp -r /export/server/zookeeper-3.4.6/ node2:/export/server/
scp -r /export/server/zookeeper-3.4.6/ node3:/export/server/

修改myid：echo 2 > /export/server/zookeeper-3.4.6/zkdatas/myid
echo 3 > /export/server/zookeeper-3.4.6/zkdatas/myid
启动zookeeper：/export/server/zookeeper-3.4.6/bin/zkServer.sh start
查看状态：/export/server/zookeeper-3.4.6/bin/zkServer.sh status
配置path环境变量：
export ZOOKEEPER_HOME=/export/server/zookeeper-3.4.6
export PATH=:$$ZOOKEEPE{R}_{H}OME/bin:$$$PATH
jps查看就Java相关进程


3.zookeeper的数据模型：

每个节点称为一个znode每个znode可分为3部分组成：
a:znode兼具文件和目录两种特点；
b:znode具有原子性：读操作获取与节点相关的所有数据，写操作将替换节点的所有数据，每一个节点有一个自己的acl列表，这个列表规定了用户的权限，限定了用户对目标节点的课执行操作
c:znode存储数据大小有限制：用来管理调度数据的例如：配置文件信息，状态信息，汇集位置通常以kb为大小单位至多1m
d:znode通过绝对路劲访问（跟开始）
4.zookeeper的节点类型：
a:永久节点：永久存在，节点存储在zk的数据目录
b：永久顺序节点（序列化）：和永久节点相似，节点后有一串数字，编号越大越晚
c:临时节点：节点随着回话的存在而存在，回话的结束而结束
d:临时顺序节点（临时序列化）：和临时节点一样；节点后有一串数字，编号越大越晚
5.操作命令：
客户端连接：shell客户端:zkCli.sh -server node1:2181
java客户端：主要
quit退出 ls / 查看信息
命令：创建永久节点：creat [-s][-e]
例子：create /app1 hello
创建永久顺序节点：create -s /app2 hello
创建临时节点：create -e /app3 hello（动态监控节点是否存在）
创建子节点：create /app1/app11
创建临时 顺序节点：create -s -e /app3 hello1
通过get /app1 获取数据
通过set /app1 192.168.88.161 改变值
删除：deleter不能抢删 rmr强删
节点属性：

总结：