kafka
小屁孩~~
愿你出走半生,归来任是逗逼一个·····哇哈哈哈
我欲成佛,天下无魔,我欲成魔,佛奈我何!
展开
-
spring boot整合kafka记录
pom文件<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency>原创 2020-06-19 13:03:19 · 160 阅读 · 0 评论 -
虚拟机搭建zookeeper集群和kafka集成,配置消费者和生产者java代码
自己搭建的过程记录,有任何问题希望提出建议,一定重新改过,在虚拟机环境中首先创建三台虚拟机,我的是192.168.198.128,192.168.198.129,192.168.198.130在这里里首先解释一些必须的命令vim /usr/java/conf 这是打开conf的命令如果出现以下错误centos -bash: vim: command not found标识...原创 2019-04-11 17:16:34 · 902 阅读 · 2 评论 -
Kafka ACL使用实战
自0.9.0.0.版本引入Security之后,Kafka一直在完善security的功能。当前Kafka security主要包含3大功能:认证(authentication)、信道加密(encryption)和授权(authorization)。信道加密就是为client到broker、broker到broker以及工具脚本与broker之间的数据传输配置SSL;认证机制主要是指配置SASL,...转载 2019-05-15 15:06:55 · 1107 阅读 · 0 评论 -
kafka配置信息详解
Kafka生产端的示例代码Properties props =newProperties();props.put("bootstrap.servers","localhost:9092");props.put("key.serializer","org.apache.kafka.common.serialization.StringSerializer");props.put(...原创 2019-05-16 09:38:04 · 893 阅读 · 0 评论 -
acks参数对消息持久化的影响
如何保证宕机的时候数据不丢失下面的图里就是表明了对于每一个Topic,我们都可以设置他包含几个Partition,每个Partition负责存储这个Topic一部分的数据。然后Kafka的Broker集群中,每台机器上都存储了一些Partition,也就存放了Topic的一部分数据,这样就实现了Topic的数据分布式存储在一个Broker集群上。万一 一个Kafka Broker宕机了...转载 2019-05-16 09:47:35 · 1022 阅读 · 0 评论 -
kafka认识与理解
主要作用作用:.解耦.异步.消峰 还包括:扩展性灵活性可恢复性 顺序保证 缓冲主要成员:producer: 消息生产者,发布消息到 kafka 集群的终端或服务。broker: kafka 集群中包含的服务器。topic: 每条发布到 kafka 集群的消息属于的类别,即 kafka 是面向 topic 的。partition: partition 是...原创 2019-05-13 15:11:17 · 1294 阅读 · 0 评论 -
kafka启动配置
下载kafka到指定地址解压#配置KAFKA环境变量/etc/profileexport KAFKA_HOME=/home/jjf/kafka_2.12-1.0.0export PATH=$PATH:$KAFKA_HOME/bin修改kafka文件下conf中的server.properties为kafka核心配置,修改log.dirs日志存储地址/usr/kafka/kafka_2...原创 2019-08-22 15:07:27 · 878 阅读 · 0 评论 -
kafka记录地址映射
保存如下Error connecting to node 93 at hadoop03:9092:修改C:\Windows\System32\drivers\etchosts文件192.168.1.151 hadoop01添加映射如果保存时提示没有足够权限,则先暂时保存在桌面上,然后将.txt后缀名去掉,再从桌面上移到原文件夹,替换原文件在弹出界面...原创 2019-08-22 18:28:57 · 290 阅读 · 0 评论