- 博客(6)
- 资源 (1)
- 收藏
- 关注
原创 kafka-connect-hive sink插件实现要点小结
面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> kafka-connect-hive sink插件实现了以ORC和Parquet两种方式向Hive表中写入数据。Connector定期从Kafka轮询数据并将其写入HDFS,来自每个Kafka主题的数据由提供的分区字段进行分区并划分为块,每个数据块都表示为一个HDFS文件,文件名由topic名称+分区编号+o...
2019-02-25 11:46:00 1072
原创 kafka-connect-hive sink插件入门指南
面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> kafka-connect-hive是基于kafka-connect平台实现的hive数据读取和写入插件,主要由source、sink两部分组成,source部分完成hive表数据的读取任务,kafka-connect将这些数据写入到其他数据存储层中,比如hive到ES数据的流入。sink部分完成向hive表...
2019-02-15 17:33:00 2684
Spring Boot自定义错误页面
2015-12-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人