kafka
xc丶卡卡
只要去,就必到达!
展开
-
kafka学习笔记(一) kafka 基础知识梳理
kafka 基础知识梳理一、kafka 简介 kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。1.1 kafka名词解释producer:生产者。consumer:消费者。topic: 消息以...转载 2018-06-08 14:06:53 · 256 阅读 · 0 评论 -
kafka学习笔记(二) kafka搭建
kafka安装所需要的环境:1.java环境2.安装zookeeper1.获取kafka安装文件命令(opt目录下):wget https://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.10-0.9.0.9.tgz解压命令:tar zxf kafka_2.10-0.9.0.1.tgz进入配置文件目录:[root@localhost config]#...原创 2018-06-29 17:34:46 · 232 阅读 · 0 评论 -
kafka学习笔记(三)spring boot整合kafka0.9.0.1(使用配置类)
spring boot 版本:1.5.6引入关于kafka的相关jar <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</arti...原创 2018-07-02 10:05:14 · 4618 阅读 · 3 评论 -
kafka学习笔记(四)spring boot整合kafka0.10.0.1(使用配置类)
配置类,配置属性,以及实现收发消息的实现类都与笔记(三)的代码相同,不同的是引入的kafka的依赖, 继承kafka0.10.0.1只需要引入一个jar包,如下: <!-- kafka --> <dependency> <groupId>org.springframework.kafka</groupId>...原创 2018-07-02 10:16:20 · 4054 阅读 · 0 评论 -
kafka consumer 日志疯狂输出 marking the coordinator host:9092 for dead group consumer-test
最近在调试spark-streaming消费kafka消息时发现日志疯狂输出 marking the coordinator host:9092 for dead group consumer-testkafka server为集群,连接时使用的是hostname:9092方法去连接,程序也不报错,去kafka server当中查询consumer-test组也存在,经过排查发现是由...转载 2018-07-02 10:22:35 · 6282 阅读 · 0 评论