随笔

1.简述对zookeeper的理解
Zookeeper=文件系统（可以在zk上存储数据）+通知机制
2.简述zookeeper的znode4种节点类型
（1）持久化目录节点
（2）持久化顺序编号目录及节点
（3）临时目录节点
（4）临时顺序编号目录节点
3.简述hbase的特点
（1）海量存储
（2）列式存储
（3）极易扩展
（4）高并发
（5）稀疏
4.简述hbase中zookeeper的3个作用
（1）通过Zookeeper来保证集群中只有一个master在运行，如果master异常，会通过竞争机制产生新的master提供服务
（2）通过Zookeeper来监控RegionServer的状态，当RegionServer有异常的时候，通过回调的形式通知MasterRegionServer上下线的信息（就是使用zk完成的服务器上下线机制）
（3）通过Zookeeper存储元数据的统一入口地址
5.简述hbase读取数据流程
（1）Client先访问zookeeper，读取描述meta表的元数据，该元数据记录了meta表的存储位置（meta表保存在HregionServer）。meta表记录了包含所请求数据的region位置，region存储了用户表的数据；
（2）根据namespace，表名和rowkey在meta表中找到对应的region信息以及该region位于哪台HregionServer；
（3）访问该HregionServer，先从所对应region的MemStore找数据，如果没有，再到BlockCache（读缓存）里面读；
（4）BlockCache还没有，再到StoreFile上读（为了读取的效率）
（5）如果是从StoreFile里面读取的数据，不是直接返回给客户端，而是先写入BlockCache，再返回给客户端。

6.为什么要设计hbase的rowkey
1.让数据均匀的分布于所有的region，在一定程度上防止数据倾斜。
2.记住rowkey，便于以后取出相应rowkey的数据
7.简述kafka是如何实现消息的广播与单播的
ConsumerGroup（CG），即消费者组，是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）的手段。一个topic可以有多个partition，也可以对应多个CG。topic的消息会复制（不是真的复制，是概念上的）到所有的CG，但每个partition只会把消息发给该CG中的一个consumer。如果需要实现广播，只要每个consumer有一个独立的CG就可以了。要实现单播只要所有的consumer在同一个CG。用CG还可以将consumer进行自由的分组而不需要多次发送消息到不同的topic。
8.kafka的partition有什么用处
增加集群的扩展性，为了更好的实现负载均衡和消息的顺序性，kafka的produce在发布消息时是可以通过分布策略发送给指定的partition。实现分布的程序是需要制定消息的key值，而kafka通过key进行策略分布。