zookeeper笔记

开启本地执行
hive.exec.mode.local.auto
hive.exec.mode.local.auto.inputbytes.max
hive.exec.mode.local.auto.tasks.max
hive.exec.mode.local.auto.input.files.max

fetch 抓取策略：
hive.fetch.task.conversion more

map task数量
set mapreduce.input.fileinputformat.split.maxsize=
set hive.exec.reducers.bytes.per.reducer=
set hive.exec.reducers.max=
set mapreduce.job.reduces=

hive.optimize.ppd
hive.optimize.cp
https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties

zookeeper 分布式协调服务

启动zookeeper:zkServer.sh start
启动zkCli.sh回车
1.官网：https://zookeeper.apache.org/
2.zookeeper 的机器部署台数？2N+1台 奇数台
主从架构：leader follower
3.dos2unix => windos机器上的文件 格式 转变成linux格式
yum install -y dos2unix
dos2unix filename
4.zookeeper 是用来做什么的？
1.管理配置信息的 【数据量小】
2.watch(监控) 配置信息的变化
5.开启 zookeeper：zkServer.sh start
6.zk数据模型
1. 一个 树形/层级式结构 linux差不多
1.节点/目录
0.根节点 /
1.目录就是节点
2.节点保存数据的内容
3.zk里面所有的目录 都叫做节点 znode

zkCli.sh 操作 节点

zkCli.sh 回车，启动[zk: localhost:2181(CONNECTED) 0]
1.查看有哪些节点 ：ls [-s] [-w] [-R] path ls /
2.查看节点内容 get /dl2262
节点：
1.临时节点 create -e path data
节点创建好之后 当前session有效 关闭session 节点就会消失
2.永久节点 create [-c] path data
节点创建好之后 可以永久存在
3.节点：下面可以存放子节点
临时节点 下面不能创建子节点
4.
1.zk 每个节点都有自己id 【不会重复的】
2.数据是存放在节点上
3.数据 不是很大的数据 仅仅存放比较小的数据
4.如果存放的数据发生变更 数据版本号也会发生变化
3.创建节点
create [-s] [-e] [-c] [-t ttl] path [data] [acl]
eg1:
create /dl2262 zihang =》 默认创建的就是 永久节点
eg2:
create -e /dl2262-boy zuan 临时节点 ttl 过期时间
eg3:
顺序节点
create -s /dl2262/ziyuan
-s参数默认会给ziyuan节点后面加一个自增的序列号
eg4:
create /bigdata/a/b/c 不能这样创建
zookeeper api： 多级
curator api:多级
4.stat path =》 获取当前节点状态
stat /dl2262
cZxid = 0x300000002
dataVersion = 0 数据版本号
dataLength = 6 数据长度
numChildren = 0 子节点
ephemeralOwner = 0x0 是否是临时节点 0x0就代表 不是临时节点
5.set 修改数据内容
set /dl2262 yuhang
6.delete删除节点
delete /dl2262/ziyuan0000000000
7.监听 -w
针对每个节点的操作
1.都有一个 监听器
当你的节点发生变化 就会触发 watch事件
2.只能监听一次
zk api:不行
curator api 可以一直监听某个 节点变化
get -w /dl2262
set /dl2262 tom
8.zk四字命令 =》 运维 监控zk 运行情况
zookeeper 对外提供服务的端口 对zk进行监控：
stat
echo stat | nc bigdata12 2181
ruok
echo ruok | nc bigdata12 2181
dump
echo ruok | nc bigdata12 2181
conf
echo ruok | nc bigdata12 2181
Prometheus => 监控框架 组件=》报警