Kafka 学习笔记
Kafka
一角残叶
人生如逆旅,我亦是行人
展开
-
Kafka 学习笔记(1)—— Kafka ,JMS 介绍
1 Kafka介绍 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。 KAFKA + STORM +REDIS Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标...原创 2018-09-25 18:44:45 · 1520 阅读 · 0 评论 -
Kafka 学习笔记(5)—— flume + kafka 整合(1)
1 需求分析 采集订单系统应用打印的日志文件。 日志文件使用 log4j 生成,滚动生成。 将采集的日志文件保存到 kafka中。 (source) 输入: tail -F xx.log (channel) 存储 : 内存 (sink)输出:kafka config a1.source=s1 a1.channel=c1 a1.sink=k1 source == > type ...原创 2018-10-01 15:09:49 · 254 阅读 · 0 评论 -
Kafka 学习笔记(6)—— flume + kafka 整合(2)
1 新建Maven工程 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocatio...原创 2018-10-01 15:23:21 · 247 阅读 · 0 评论 -
Kafka 学习笔记(2)—— Kafka 集群安装
前提,已经在node1,node2,node3 配置了 zookeeper 集群 1 将安装包上传到服务器,解压 创建目录 mkdir /export mkdir /export/servers chmod 777 -R /export 解压 tar -zxvf kafka_2.11-2.0.0.gz -C /export/servers 创建软链接 [hadoop@node1 ~]$ c...原创 2018-09-26 11:08:39 · 513 阅读 · 0 评论 -
Kafka 学习笔记(3)——kafka java API
1 新建maven 工程原创 2018-09-27 09:53:21 · 217 阅读 · 0 评论 -
Kafka 学习笔记(4)—— Kafka总结
1 Kafka 是什么 类似JMS消息队列,结合JMS中的两种模式,可以有多个消费者主动拉取数据,在JMS中只有点对点模式才有消费者拉取数据。 kafka 是一个生产-消费模型。 Producer:生产者,只负责数据生产,生产者的代码可以集成到任务系统中,数据的分发策略由producer 决定,默认是 defaultPatition ,Utils.abs(key.hashCode) % numP...原创 2018-09-27 20:03:40 · 291 阅读 · 0 评论