kafka
xiaoyaGrace
这个作者很懒,什么都没留下…
展开
-
kafka与Spring的集成
kafka与Spring的集成配置生产者:前提kafka安装完成,及创建好主题pom文件配置:<!--https://mvnrepository.com/artifact/org.apache.kafka/kafka--><dependency> <groupId>org.apache.kafka</groupId> <...原创 2019-11-08 11:55:45 · 119 阅读 · 0 评论 -
kafka在windows下的安装和配置
1.下载地址http://mirrors.tuna.tsinghua.edafka_2.12-2.1.0.tgz2.启动zookeeper服务器2.1修改zookeeper的配置文件信息zookeeper版本为3.4.13找到zookeeper的配置文件(将config文件夹下的zoo_sample.cfg文件重命名为zoo.cfg)在配置文件中添加以下2行内容,配置zookeeper的...原创 2019-11-05 15:30:38 · 249 阅读 · 0 评论 -
kakfa的Direct方式详解
1)Direct的方式是会直接操作kafka底层的元数据信息,这样如果计算失败了,可以把数据重新读一下,重新处理。即数据一定会被处理。拉数据,是RDD在执行的时候直接去拉数据。2)由于直接操作的是kafka,kafka就相当于你底层的文件系统。这个时候能保证严格的事务一致性,即一定会被处理,而且只会被处理一次。而Receiver的方式则不能保证,因为Receiver和ZK中的数据可能不同步,Sp...原创 2019-11-05 14:57:05 · 119 阅读 · 0 评论 -
kafka中Partition的几个核心offset
每个Kafka副本对象都有两个重要的属性:LEO和HW。注意是所有的副本,而不只是leader副本。 LEO:即日志末端位移(log end offset),记录了该副本底层日志(log)中下一条消息的位移值。注意是下一条消息!也就是说,如果LEO=10,那么表示该副本保存了10条消息,位移值范围是[0, 9]。另外,leader LEO和follower LEO的更新是有区别的。我们...原创 2019-10-30 15:21:28 · 615 阅读 · 0 评论