Hbase,Phoenix,hive,Redis 内存数据库,220905,,

案例的3部分:

1. 数据采集: 数据源 => Flume => Kafka

2. 数据存储. Kafka => Hbase Hbase表设计? 名称空间, 列族, 压缩, 预分区. Rowkey设计. 代码实现.

JavaAPI操作Kafka消费者, 读取数据. JavaAPI生成Rowkey, 格式: MD5哈希值前8位_发件人账号_收件人账号_时间戳 JavaAPI操作Hbase, 存储数据.

3. 架构集成. Hbase => Phoenix(延迟低, OLTP, Transaction, 联机事务处理), Hive(延迟相对较高, OLAP, Analysis, 联机分析处理)

Flume,java jar

 从顶层类,具体说是哪方面异常,如自定义异常,,

https://kafka.apache.org/24/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.html

Hive: \001