Kafka
Jsoooo
这个作者很懒,什么都没留下…
展开
-
Kafka Java客户端无法消费 又不报错
首先kafka java api有新旧两个版本,区别:旧版数据是存在zookeeper,配置文件是“zookeeper.connect ” 默认2181端口新版数据存在topic,配置文件是 “bootstrap.servers” 默认是9092端口推荐用新版另外连接虚拟机打主机名需要在win10上配置linux的主机名IP映射才能连接...原创 2018-10-13 14:09:49 · 4000 阅读 · 1 评论 -
Kafka-提交偏移量(offset)
1.自动提交: 1.属性enable.auto.commit -> true 2.属性auto.commit.interval.ms ->5000 默认提交时间间隔为5s 3.消费者会自动将poll()方法接收到的消息的最大偏移量提交上去2.手动提交偏移量(分为两种) 1.同步的提交 2,异步的提交3.同步方式提交偏移量4.异步方式提交偏移量...原创 2019-01-17 12:07:35 · 3333 阅读 · 0 评论 -
Kafka-Poll()
1.一开始以为poll()方法里传的是Kafka返回的记录条数, 但其实是传的时间(ms)2.Kafka轮询一次就相当于拉取(poll)一定时间段broker中可消费的数据, 在这个指定时间段里拉取,时间到了就立刻返回数据。3.例如poll(5000): 即在5s中内拉去的数据返回到消费者端。...原创 2019-01-17 11:58:35 · 16127 阅读 · 1 评论 -
Kafka常用命令
开启Kafka指定配置文件/bin/kafka-server-start.sh /config/server.properties测试用控制台消费者[kfk@bigdata-pro01 bin]$ ./kafka-console-consumer.sh --zookeeper bigdata-pro01.kfk.com:2181 --topic test --from-beginni...原创 2018-10-10 12:39:52 · 214 阅读 · 0 评论 -
Kafka consumer在zookeeper信息的存储
转自:https://blog.xiaoxiaomo.com/2016/05/14/Kafka-Consumer消费者/转载 2018-12-16 18:31:27 · 571 阅读 · 0 评论 -
Kafka 日志、数据清理
转自:https://www.cnblogs.com/moonandstar08/p/6204581.html转载 2018-12-16 18:27:57 · 324 阅读 · 0 评论 -
大数据技术图谱
转自:https://blog.csdn.net/stpeace/article/details/79232656转载 2018-11-20 10:50:47 · 657 阅读 · 0 评论 -
Kafka topic中的数据无法再Java端消费
现象:把数据放到kafka的一个topic中,用Java端 SparkStreaming+Kafka集成拿不到数据,而在linux上用自带的kafka-consumer就能消费到topic中的数据。解决:其实看着centOS ,jps,看Java进城Kafka进程还在,Application对应的Flume也还在,但是实际上在挂起后大概率已经停了,要杀掉进程重新启动Kafka和Flume进程...原创 2018-11-14 13:14:14 · 876 阅读 · 0 评论 -
Hadoop组件的各个进程及其作用
转自:https://www.jianshu.com/p/37b04eeedc6d转载 2018-11-06 16:46:49 · 1632 阅读 · 0 评论 -
大数据相关-笔/面试题
Hadoop面试题:https://blog.csdn.net/kingmax54212008/article/details/51257067?utm_source=blogxgwz2Hadoop笔试题:https://blog.csdn.net/zhongqi2513/article/details/78349083Spark面试题:https://blog.csdn.net/wei...转载 2018-10-20 14:04:32 · 274 阅读 · 0 评论 -
Kafka-SparkStreaming Java客户端报错
原因kafka版本不匹配0.10.0.0版本和之前的版本包名不同,api也变了新版的包叫kafka010,以前的就叫kafkaKafkaUtils.createDirectStream()方法不同:旧版:新版:...原创 2018-10-16 20:09:33 · 106 阅读 · 0 评论 -
Kafka集成SparkStreaming
转自:https://blog.csdn.net/jacklin929/article/details/53888763转载 2018-10-18 18:33:05 · 82 阅读 · 0 评论 -
Kafka-高效原因
Kafka 对于其他日志分析系统或者消息队列的优势:1.传统日志分析系统擅长离线处理日志信息,并且可扩展。但是对实时无能为力2.现有消息队列能提供实时处理,但大多不支持将未处理数据写到磁盘上。Kafka 高效原因:1.直接使用Linux文件系统的Cache高效缓存数据。2.采用Linux的 Zero-Copy 来提高发送性能。 传统数据发送需要4次数据拷贝 而Zero-Co...原创 2019-09-03 15:01:13 · 467 阅读 · 0 评论