kafka
文章平均质量分 72
cdh -kafka
红尘丶世界
从来如此,便是对么?
展开
-
logstash output到kafka 配置SSL 加密
文章目录1. 使用keytool来为集群的每台机器生成密钥和证书。1. 先执行下面的脚本2. 参数解释2. 配置kafka3. 遇到的问题4. 配置logstash输出到kafka的output1. 使用keytool来为集群的每台机器生成密钥和证书。1. 先执行下面的脚本会要输入很多次密码建议密码都一样#!/bin/bash#Step 1#以下注意修改时间 默认时间365keytool -keystore server.keystore.jks -alias localhost -va原创 2021-05-10 13:40:58 · 2181 阅读 · 2 评论 -
kafka 常用的命令
查看分区中有多少条数据$KAFKA_HOME/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list node01:9092,node02:9092,node03:9092 --topic 18BD12原创 2020-04-23 15:29:29 · 224 阅读 · 0 评论 -
Kafka基本介绍和Kafka的架构
文章目录1.kafka的基本介绍1.kafka的基本介绍Kafka是一个分布式的,分区的,多副本的,多订阅者的消息发布订阅系统。支持Topic进行归类数据发送者(生产者)Producer数据接收者(消费者)ConsumerKafka节点(存数据)broker...原创 2020-04-06 12:55:44 · 2112 阅读 · 0 评论 -
大数据面试简答题(七) -Kafka
文章目录Kafka详细架构1、什么是kafka2、kafka的使用场景3、kafka优缺点4、Kafka架构(流程)5、Kafka架构(API)6、Topic内部有哪些组成?7、分区和消费组内的消费者之间的关系有哪些情况?8、分区数、消费者与读取效率之间的关系9、副本数与broker之间的关系10、什么是主/从副本11、主/从复本的作用是什么12、Lsr是什么?13、成产者生产数据到kafka集群...原创 2020-04-01 22:39:37 · 451 阅读 · 0 评论 -
KafkaAPI 和 KafkaStreamAPI
生产者producer代码import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerRecord;import java.util.Properties;/** * @author dell * @version v 1.0 * @...原创 2020-03-30 20:38:45 · 253 阅读 · 0 评论 -
Exception in thread "main" org.apache.kafka.clients.consumer.NoOffsetForPartitionException
错误详情报错原因与 kafka 是否自动提交 enable.auto.commit 设置为 false 并且 auto.offset.reset 设置为 none 有关kafka offset 解析 //earliest: 当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费 //latest: 当各分区下有已提交的o...原创 2020-03-20 09:32:15 · 1701 阅读 · 0 评论