![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka 学习笔记
Kafka
一角残叶
人生如逆旅,我亦是行人
展开
-
Kafka 学习笔记(1)—— Kafka ,JMS 介绍
1 Kafka介绍在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。KAFKA + STORM +REDISApache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标...原创 2018-09-25 18:44:45 · 1508 阅读 · 0 评论 -
Kafka 学习笔记(5)—— flume + kafka 整合(1)
1 需求分析采集订单系统应用打印的日志文件。日志文件使用 log4j 生成,滚动生成。将采集的日志文件保存到 kafka中。(source) 输入: tail -F xx.log(channel) 存储 : 内存(sink)输出:kafkaconfiga1.source=s1a1.channel=c1a1.sink=k1source == > type ...原创 2018-10-01 15:09:49 · 246 阅读 · 0 评论 -
Kafka 学习笔记(6)—— flume + kafka 整合(2)
1 新建Maven工程<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocatio...原创 2018-10-01 15:23:21 · 238 阅读 · 0 评论 -
Kafka 学习笔记(2)—— Kafka 集群安装
前提,已经在node1,node2,node3 配置了 zookeeper 集群1 将安装包上传到服务器,解压创建目录mkdir /exportmkdir /export/serverschmod 777 -R /export解压tar -zxvf kafka_2.11-2.0.0.gz -C /export/servers创建软链接[hadoop@node1 ~]$ c...原创 2018-09-26 11:08:39 · 495 阅读 · 0 评论 -
Kafka 学习笔记(3)——kafka java API
1 新建maven 工程原创 2018-09-27 09:53:21 · 208 阅读 · 0 评论 -
Kafka 学习笔记(4)—— Kafka总结
1 Kafka 是什么类似JMS消息队列,结合JMS中的两种模式,可以有多个消费者主动拉取数据,在JMS中只有点对点模式才有消费者拉取数据。kafka 是一个生产-消费模型。Producer:生产者,只负责数据生产,生产者的代码可以集成到任务系统中,数据的分发策略由producer 决定,默认是 defaultPatition ,Utils.abs(key.hashCode) % numP...原创 2018-09-27 20:03:40 · 281 阅读 · 0 评论