weixin_43374749的博客

1.Kafka 概述为什么需要消息队列:解耦. 冗余. 拓展性. 灵活性&峰值处理能力. 可恢复性. 顺序保证. 缓冲. 异步通信Kafka架构(1)Producer: 消息生产者, 向kafka broker 发消息的客户端(2)Consumer: 消息消费者, 向kafka broker区小溪的客户端(3)Topic: 可以理解为一个队列;(4)Consumer Group 是kafka实现消息广播和单播的手段, 一个topic 可以有多个GC, 一个GC中的多个成员不可以多次接受

RowKey的设计原则1. 设计原则1.1 唯一原则保证rowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若HBase中同一表插入相同RowKey，则原先的数据会被覆盖掉（如果表的version设置为1的话）。1.2 散列原则设计的RowKey应保证同一时间段内的数据能够被均匀的分配给不同的HBase节点。举一个反面的例子: 针对实时产生的事件连续的数据, 如果RowKey是按系统时间戳的方式递增，即RowKey的第一部分(类似寻址位的高位)是时间戳，将造成所有新数据都在