hive hudoop kafka_[数据库实时同步到hive]通过Kafka将数据从关系型数据库实时数据流导入到HDFS的Hive表中...

问题导读

1.Hive 1.2.1，Flume 1.6 以及 Kafka 0.9是否兼容？

2.实现Hadoop实时数据导入本文使用了几步？

3.通过Kafka将数据从关系型数据库实时数据流导入到HDFS的Hive表，你认为是否还有其它思路？

对于那些想要把数据快速摄取到Hadoop中的企业来讲，Kafka是一个很好的选择。Kafka是什么？Kafka是一个分布式、可伸缩、可信赖的消息传递系统，利用发布-订阅模型来集成应用程序/数据流。同时，Kafka还是Hadoop技术堆栈中的关键组件，能够很好地支持实时数据分析或者货币化的物联网数据。

本文服务于技术人群。下面就图解Kafka是如何把数据流从RDBMS(关系数据库管理系统)导入Hive，同时借助一个实时分析用例加以说明。作为参考，本文中使用的组件版本分别为Hive 1.2.1，Flume 1.6 以及 Kafka 0.9。

Kafka所在位置:解决方案的整体结构

下图显示了解决方案的整体结构:Kafka和Flume的结合，再加上Hive的交易功能，RDBMS的交易数据被成功传递到目标Hive表中。

下图显示了解决方案的整体结构:Kafka和Flume的结合，再加上Hive的交易功能，RDBMS的交易数据被成功传递到目标Hive表中。

1.png (28.23 KB, 下载次数: 4)

下载附件

保存到相册

2016-8-29 17:10 上传

七步实现Hadoop实时数据导入

现在让我们深入方案细节，并展示如何在几个步骤内将数据流导入Hadoop。

1.从RDBMS中提取数据

所有关系型数据库都有一个日志文件，用来记录最新的交易。解决方案的第一步就是获取这些交易数据，同时要确保这些数据格式是可以被Hadoop所接受的。

2.设置Kafka生产商

发布Kafka话题消息的过程称为”生产商”。”话题”里有各种Kafka所需要维护的信息类别，RDBMS数据也会被转换成Kafka话题。对于这个示例，要求设置一个服务于整个销售团队的数据库，且该数据库中的交易数据均以Kafka话题形式发布。以下步骤都需要设置Kafka 生产商:

[Bash shell] 纯文本查看 复制代码

$ cd/usr/hdp/2.4.0.0-169/kafka

$ bin/kafka-topics.sh--create--zookeeper sandbox.hortonworks.com:2181--replication-factor 1--partitions 1--topic SalesDBTransactions