Kafka
harveybd
这个作者很懒,什么都没留下…
展开
-
Kafka 概述 核心组件及特性
1.Kafka 简介(1).Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。(2). Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。(3). Kafka是一个分布式消息队列:生产者、消原创 2018-01-26 16:14:12 · 1598 阅读 · 0 评论 -
Kafka 安装部署及使用(单节点/集群)
导读: 本篇博客,笔者会介绍三种安装Kafka的方式,分别为:单节点单Broker部署、单节点多Broker部署、集群部署(多节点多Broker)。实际生产环境中使用的是第三种方式,以集群的方式来部署Kafka。 Kafka强依赖ZK,如果想要使用Kafka,就必须安装ZK,Kafka中的消费偏置信息、kafka集群、topic信息会被存储在ZK中。有人可能会说我在使用原创 2018-01-26 18:06:54 · 27348 阅读 · 9 评论 -
Kafka 生产者消费者 Java API 编程
我们先创建一个topic,然后启动生产者和消费者,进行消息通信,然后在使用Kafka API编程的方式实现,笔者使用的ZK和Kafka都是单节点,你也可以使用集群方式。启动ZookeeperzkServer.sh start启动Kafkakafka-server-start.sh $KAFKA_HOME/config/server.properties创建topickafk原创 2018-01-29 18:33:46 · 1367 阅读 · 0 评论 -
将Log4j日志实时写入Kafka
1.创建maven项目,引入依赖dependency> groupId>org.apache.kafkagroupId> artifactId>kafka_2.11artifactId> version>0.11.0.0version>dependency>dependency> groupId>log4jgroupId> artifactId原创 2018-01-29 18:42:38 · 3693 阅读 · 1 评论 -
Flume 整合 Kafka 使用
实现需求:整合 Flume 和 Kafka 完成实时数据收集,即使用 Flume 中的 Kafka Sink 将 Flume 实时收集到的日志信息输出到 Kafka笔者使用的Flume版本为1.6,Kafka版本为0.11.0.0,Flume 中的Kafka Sink的使用参见Flume官方文档: http://flume.apache.org/releases/content/1.6.0/原创 2018-01-30 11:49:47 · 983 阅读 · 0 评论