Kafka
文章平均质量分 75
kafka
CyAuroras
这个作者很懒,什么都没留下…
展开
-
SparkStreaming +Kafka ConsumerRecord无法序列化
错误:hadanotserializableresult:org.apache.kafka.clients.consumer.ConsumerRecord错误:hadanotserializableresult:org.apache.kafka.clients.consumer.ConsumerRecordConsumerRecord无法序列化可注册使用Kyro序列化 org.apache.spark.serializer.KryoSerializer Spark没有...原创 2021-08-23 17:41:14 · 748 阅读 · 0 评论 -
Kafka为什么快
目录Kafka 为什么能那么快 | Kafka高效读写数据的原因1. 利用 Partition 实现并行处理2. 顺序写磁盘3. 充分利用 Page Cache4. 零拷贝技术4.1 网络数据持久化到磁盘 (Producer 到 Broker)4.2 磁盘文件通过网络发送(Broker 到 Consumer)5. 批处理6. 数据压缩小总结 | 为什么快,Kafka 为什么能那么快 | Kafka高效读写数据的原因无论 kafka 作为 MQ 也好,作为存储层转载 2021-08-22 21:33:17 · 108 阅读 · 0 评论 -
Kafka的数据丢失与数据重复
目录ack应答机制producer端数据丢失和重复生产问题Exactly Once(⼀次正好)语义consumer端数据丢失和重复消费问题END-TO-END端到端的精准一次语义。kafka 环节丢失数据,ack应答机制对于某些不太重要的数据,对数据的可靠性要求不是很⾼,能够容忍数据的少量丢失,所以没必要等ISR中的follower全部接收成功所以Kafka为⽤户提供了三种可靠性级别,⽤户根据对可靠性和延迟的要求进⾏权衡,选择以下的配...原创 2021-08-22 21:22:24 · 190 阅读 · 0 评论 -
kafka中数据发送保障
为保证producer发送的数据,能可靠的发送到指定的topic,topic的每个partition收到producer发送的数据后,都需要向producer发送ack(acknowledgement确认收到),如果producer收到ack,就会进⾏下⼀轮的发送,否则重新发送数据。副本数据同步策略 方案 优点 缺点 半数以上完成同步,就发送ack 延迟低 选举新的lead...原创 2021-08-22 20:45:18 · 177 阅读 · 0 评论 -
Kafka的 API 编程
目录创建⼯程java版本kafka生产者的api操作kafka消费者的api操作工具类Scala版本工具类生产者和消费着创建⼯程创建⼯程略,导⼊Pom依赖<!-- 下⾯的依赖,包含了上⾯的kafka-clients,所以只需要引⼊下⾯即可 --><dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.1原创 2021-08-21 21:11:17 · 332 阅读 · 0 评论 -
Kafka的主题常用命令
Kafka常用命令#启动ZK./bin/zookeeper-server-start.sh ./config/zookeeper.properties#启动Kafka./bin/kafka-server-start.sh ./config/server.properties#创建主题kafka-topics.sh --zookeeper localhost:2181 --create --topic test --partitions 1 --replication-facto...原创 2021-08-21 20:38:51 · 986 阅读 · 0 评论 -
kafka的分布式安装
目录版本下载安装部署kafka在zookeeper中的⽬录说明版本下载安装包:http://archive.apache.org/dist/kafka/1.1.1/kafka_2.11-1.1.1.tgz源码包:http://archive.apache.org/dist/kafka/1.1.1/kafka-1.1.1-src.tgz安装部署1. 解压 [root@hadoop01 ~]# tar -zxvf /opt/soft/kafka_2.11-1.1.1.tg原创 2021-08-21 20:32:53 · 334 阅读 · 0 评论 -
Kafka的设计⽬标及核⼼的概念
一、消息队列为什么要⽤消息队列?消息 Message ⽹络中的两台计算机或者两个通讯设备之间传递的数据。例如说:⽂本、⾳乐、视频等内容。 队列 Queue ⼀种特殊的线性表(数据元素⾸尾相接),特殊之处在于只允许在⾸部删除元素和在尾部追加元素(FIFO)。 ⼊队、出队。 消息队列 MQ 消息+队列,保存消息的队列。消息的传输过程中的容器;主要提供⽣产、消费接⼝供外部调⽤做数据的存 储和获取二、消息队列的分类MQ主要分为...原创 2021-08-18 22:11:53 · 170 阅读 · 0 评论