![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
Viking_bird
欢迎关注:大鹏的架构之路。每天进步一点点,专注Java与大数据技术分享。
展开
-
kafka-connect-hive sink插件入门指南
面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> kafka-connect-hive是基于kafka-connect平台实现的hive数据读取和写入插件,主要由source、sink两部分组成,source部分完成hive表数据的读取任务,kafka-connect将这些数据写入到其他数据存储层中,比如hive到ES数据的流入。sink部分完成向hive表...原创 2019-02-15 17:33:00 · 2656 阅读 · 0 评论 -
kafka-connect-hive sink插件实现要点小结
面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> kafka-connect-hive sink插件实现了以ORC和Parquet两种方式向Hive表中写入数据。Connector定期从Kafka轮询数据并将其写入HDFS,来自每个Kafka主题的数据由提供的分区字段进行分区并划分为块,每个数据块都表示为一个HDFS文件,文件名由topic名称+分区编号+o...原创 2019-02-25 11:46:00 · 1062 阅读 · 0 评论