kafka
文章平均质量分 91
justdoit180
这个作者很懒,什么都没留下…
展开
-
Kafka-LEO和HW概念及更新流程
目录LEO&HW基本概念LEO&HW更新流程LEOHW更新流程示例分析 引言记录下和kafka相关的LEO和HW的内容,文中很多理解参考文末书籍还有某前辈。回到顶部LEO&HW基本概念Base Offset:是起始位移,该副本中第一条消息的offset,如下图,这里的起始位移是0,如果一个日志文件写满1G后(默认1G后会log rolling),这个起始位移就不是0开始了。HW(high watermark):副本的高水印值,re...转载 2022-01-26 10:39:49 · 2302 阅读 · 1 评论 -
kafka的几个面试问题汇总(概念,优势,zk的作用,数据同步,优化等等)
1.什么是kafkaKafka是分布式发布-订阅消息系统,它最初是由LinkedIn公司开发的,之后成为Apache项目的一部分,Kafka是一个分布式,可划分的,冗余备份的持久性的日志服务,它主要用于处理流式数据。2.为什么要使用消息队列 kafka缓冲和削峰:上游数据时有突发流量,下游可能扛不住,或者下游没有足够多的机器来保证冗余,kafka在中间可以起到一个缓冲的作用,把消息暂存在ka...原创 2020-01-04 18:19:28 · 299 阅读 · 0 评论 -
安装Kafka Eagle对具有kerberos认证的kafka集群进行监控
一、kafka Eagle的知识点1.kafka Eagle的介绍:kafka Eagle监控系统的目标是做一个部署简单,开发容易,使用方便的kafka消息监控系统。2.下载kafka Eagle安装包的链接为:下载地址:http://download.smartloli.org/3.下载kafka Eagle 源代码的链接为:https://github.com/smartloli/...原创 2019-11-04 16:18:49 · 576 阅读 · 2 评论 -
java实现从目录下读取文件生产到kafka和从kafka拉取数据消费到文件中
从某一目录下读取文件写入到kafka的代码实现package lm;import java.io.BufferedReader;import java.io.ByteArrayOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;impo...原创 2019-10-24 16:16:16 · 1706 阅读 · 0 评论 -
对kafka进行了kerberos认证之后,要topic和用户进行acl授权的操作
对kafka进行了kerberos认证之后,要topic和用户进行acl授权的操作原创 2019-07-30 10:48:52 · 2441 阅读 · 0 评论 -
kafka集成kerberos认证后的命令总结
有kerberos认证之后的kafka,先进行授权的操作测试集群上的超级用户为kafkakinit -kt /etc/kafka/conf/kafka.keytab kafka首先切换到安装的kafka的目录下,随后可以执行以下命令1、创建topic的命令操作:测试集群上的超级用户为kafkabin/kafka-topics.sh --create --zookeeper local...原创 2019-07-31 11:41:22 · 5852 阅读 · 1 评论 -
java代码实现向有kerberos认证的kafka中发送数据
java代码实现向有kerberos认证的kafka中发送avro格式数据1.在idea中创建一个maven工程1.1 pom.xml 内容 <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <...原创 2019-08-20 18:07:28 · 3660 阅读 · 0 评论 -
关于kafka的topic的授权和消费的问题汇总
关于kafka的topic的授权问题的汇总在具有kerberos的集群上对其他用户相应的topic授权的时候主要有以下几点如果超级用户为kafka这时候需要切换到kafka安装的一个节点上,进行kinit验证的操作例如:kinit –kt /etc/kafka/conf/kafka.keytab kafka需要创建要对topic进行操作的用户(读,写或者读和写都具备)1.1添加的一个普...原创 2019-08-15 19:00:05 · 4175 阅读 · 0 评论