Kafka
象在舞
谁说大象不能跳舞!
展开
-
SparkStreaming读取Kafka对接Flume抽取到的数据库数据并保存到HBase中,Hive映射HBase进行查询
最近公司在做实时流处理方面的工作,具体需求是:将关系型数据库(MySQL、Oracle)中的相关数据表实时的导入到HBase中,并使用Hive映射HBase进行数据查询。公司使用的是CDH6.3.1搭建的大数据集群~一、配置Flume,抽取数据到Kafka 在之前,我写过一篇《Flume抽取Oracle中的数据到Kafka》的文章,里面详细的介绍了如何配置连接Oracle数据库,那么这里就以MySQL数据库为例吧,其实两者的配置大同小异,只不过改几个连接串即可,这里详细的就不...原创 2020-06-10 12:27:33 · 1445 阅读 · 0 评论 -
大数据协作框架之kafka
一、kafka概述 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中,常常会碰到一个问题,整个大数据是由各个子系统组成,数据需要在各个子系统中高性能,低延迟的不停流转。传统的企业消息系统并不是非常适原创 2017-08-12 15:15:58 · 449 阅读 · 0 评论 -
【TDH】Kafka的使用
1. Kafka使用前的配置 集群在不开启安全的情况下,可以直接进行创建topic的操作。如果集群开启了安全,需要进行相关的安全认证的参数配置。首先去到Kafka的config目录下。1.1 修改producer.properties文件。修改bootstrap.servers配置项如下:在producer.properties文件的末尾添加如下配置:1.2 修...原创 2019-01-25 13:45:28 · 1190 阅读 · 0 评论 -
Kafka中的消费者组(Consumer Group)
1. 消费者组(Consumer Group) 消费者组是Kafka实现单播和广播两种消息模型的手段。同一个topic,每个消费者组都可以拿到相同的全部数据。1.1 消费者多于分区数创建一个用于测试的单分区topic test设置consumer.properties文件 将consumer.properties文件中的group id命名为gro...原创 2019-01-25 13:52:42 · 51589 阅读 · 8 评论 -
Flume抽取Oracle中的数据到Kafka
1.1 Flume的安装1)下载Flume 从Flume官网(http://flume.apache.org/download.html)下载对应版本的Flume,这里使用的是Flume的版本是1.7。2)解压Flume 新建flume目录,将下载的Flume上传到该目录下,执行如下命令进行解压:tar -zxvf ./apache-flume-1.7....原创 2019-01-25 15:26:24 · 4815 阅读 · 2 评论 -
Flume、Kafka、Slipstream对接
在启动Slipstream之前首先去到8180监控界面,查看Slipstream的server在node2节点上,如下图所示: Slipstream和Inceptor的server不在一个节点上,只能共同使用同一个源数据库,相关操作只能在Slipstream的引擎中操作。 安全模式下,一个Stream要成功读取/写入一个topic中的消息必须满...原创 2019-02-01 15:53:36 · 483 阅读 · 0 评论 -
Slipstream中的衍生流(Derived Stream)
《Flume、Kafka、Slipstream对接》中介绍的流属于输入流,一般原始数据并不是最终要输出的数据,它需要经过过滤,提炼,计算。这样一个过程称之为对Stream的转化。可以采用CSAS(CREATE STREAM AS SELECT)对已有的Stream进行变形。转化得到的新的Stream,称之为Derived Stream。1、衍生流的建立使用如下语句首先建立一...原创 2019-02-01 15:59:58 · 620 阅读 · 0 评论 -
Slipstream中的并行流处理
与《Kafka中的消费者组》类似,Slipstream中多个流也可以同时接收同一topic的数据进行不同的操作。值得注意的是,Slipstream中的一个Input Stream对应着Kafka中的一个Consumer Group。1、并行流的建立 并行流的建立非常简单,在《Slipstream中的衍生流》建立的基础上,再建立一个新的输入流和衍生流即可,新建的输入...原创 2019-02-01 16:08:19 · 568 阅读 · 0 评论