消息队列--kafka
沙漠蚂蚁--顽石
这个作者很懒,什么都没留下…
展开
-
kafka(4)--使用Streams处理数据
1. 简介 Kafka Streams 是Kafka的客户端库, 用来做实时流处理和分析存储在Kafka代理服务器的数据。本文将演示如何运行这个流应用库。具体操作过程为:文件file-input.txt数据导入topic streams-file-input , 示例程序从topic streams-file-input中获取数据并计算各个单词的出现频率后将单词频率统计结果输出到topic str原创 2017-10-27 11:22:03 · 1248 阅读 · 0 评论 -
kafka(1)--单节点
本文描述 Linux 上搭建单节点kafka,以Centos7.2为例。1. 准备kafka代码wget http://mirror.bit.edu.cn/apache/kafka/0.10.2.0/kafka_2.11-0.10.2.0.tgz 解压压缩包: tar -zxvf kafka_2.11-0.10.2.0.tgz cd kafka_2.11-0.10.2.0其中bin目录下存放了操原创 2017-10-24 19:41:41 · 469 阅读 · 0 评论 -
kafka(2)--多节点
多节点集群只是比单节点集群多了一些代理实例,其他并没有什么太大的变化,本文以本机三个节点为例搭建kafka集群。1. kafka程序准备下载程序:wget http://mirror.bit.edu.cn/apache/kafka/0.10.2.0/kafka_2.11-0.10.2.0.tgz解压:tar -zxvf kafka_2.11-0.10.2.0.tgzcd kafka_2.11原创 2017-10-24 21:11:48 · 2477 阅读 · 0 评论 -
kafka(3) -- 连接导入、导出数据
有些场景下Kafka需要使用其他来源的数据或导出Kafka的数据到其他系统,相对于许多系统需要编写定制集成的代码,使用Kafka连接到系统去导入或导出数据更加简单。Kafka Connect是包括在Kafka中一个工具,用来导入导出数据到Kafka。它是connectors的一个可扩展工具,其执行定制逻辑,用于与外部系统交互。本文介绍如何使用Kafka Connect做一些简单的连接器从一个文件导入原创 2017-10-26 17:47:24 · 3463 阅读 · 0 评论