Kafka
文章平均质量分 89
Kafka
松myth
这个作者很懒,什么都没留下…
展开
-
Kafka为何弃用zookeeper
Kafka的核心是日志——一种简单的数据结构,它使用与底层硬件共生的顺序操作。Kafka的设计是以日志为中心,这样带来了高效的磁盘缓冲和CPU缓存使用率、预取、零拷贝数据传输以及许多其他好处,从而带来了显著的高效率和吞吐量。对于那些刚接触Kafka的人来说,他们通常要了解的第一件事就是topic及其作为提交commitLog的底层实现。但是日志本身的代码在整个系统中所占的比例相对较小。Kafka的代码库中有很大一部分负责调整分区(即日志),这些分区跨一个集群中多个broker节点、分配领导权、处理失败等转载 2021-08-11 21:03:34 · 934 阅读 · 0 评论 -
kafka
1、Kafka 都有哪些特点?高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition, consumer group 对partition进行consume操作。可扩展性:kafka集群支持热扩展持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失容错性:允许集群中节点失败(若副本数量为n,则允许n-1个节点失败)高并发:支持数千个客户端同时读写2、Kafka 的设计架构?Kafka 架构分为以转载 2021-08-10 16:17:38 · 381 阅读 · 0 评论 -
kafka中topic的partition数量和customerGroup的customer数量关系以及storm消费kafka时并行度设置问题总结:
前段时间通过网上查找和自己测试仔细研究了partition和customer关系以及工作中遇到的storm并行度调整的问题,认真梳理了一下现总结如下:一、先说kafka部分:produce方面:如果有多个分区,发送的时候按照key值hashCode%partitionNum哈希取模分区数来决定该条信息发往哪个partition, 这里可以自定义partition的分发策略,只要实现Partitioner接口就好,可以自定义成随机分发或者fangwang发往指定分区;customer方面:转载 2021-08-07 13:16:45 · 446 阅读 · 0 评论 -
Kafka高性能原因
1. 批量处理传统消息中间件的消息发送和消费整体上是针对单条的,这样会造成多次网络传输。Kafka是通过将发送到相同partition的数据组装成一个批量消息,然后进行发送,这在前面文章中介绍batch.size参数时提到过,这种方式大大减少了请求的数量,提升了客户端和服务器的性能。2. 客户端优化新版生产者客户端摒弃了以往的单线程,而采用了双线程:主线程负责将消息置入客户端缓存Sender线程负责从缓存中发送消息3. 消息压缩Kafka支持多种消息压缩方式(gzip、snappy、lz4转载 2021-08-02 14:32:07 · 793 阅读 · 0 评论 -
Kafka
Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。1.前言消息队列的性能好坏,其文件存储机制转载 2021-08-02 13:53:30 · 164 阅读 · 0 评论 -
Kafka消息队列
Kafka消息队列 目录 1 1. 概述 2 2. 基础名词 3 3. 部署结构 3.1 Introduction 3.2 Distributed 3.3 Producer 3.4 Consumer 3.5 Guaratees 4 4. 配置文件结构 5 5. 集群监控 6 ...原创 2019-07-09 16:01:38 · 9688 阅读 · 0 评论 -
kafka常用配置
Will not attempt to authenticate using SASL (unknown error)最后发现是尝试,在我自己程序运行端(也就是java程序跑的所在机器,我自己的笔记本电脑上,加入了zk服务器的ip和服务器名映射关系,没想到竟然解决了,我只能说操蛋啊,查了几个小时,因为是spring或者是程序配置问题,...原创 2019-06-15 17:55:22 · 742 阅读 · 0 评论 -
Spark Streaming的Batch Duration优化
Spark Streaming 是微批处理。SparkConf sparkConf = new SparkConf().setAppName("SparkStreaming").setMaster("local[*]");JavaStreamingContext javaStreamingContext = new JavaStreamingContext(sparkConf, Dur...转载 2019-06-15 17:54:06 · 759 阅读 · 0 评论 -
kafka 并发数配置过程中踩到的坑 InstanceAlreadyExistsException
[kafka_spout:7-MultipleThreadSpoutExecutors] WARN o.a.kafka.common.utils.AppInfoParser - Error registering AppInfo mbeanjavax.management.InstanceAlreadyExistsException: kafka.consumer:type=app-info,...转载 2019-06-15 17:22:47 · 6551 阅读 · 0 评论 -
kafka 配置
Kafka在配置文件中使用key-value方式进行属性配置。这些values可以通过文件或者编程方式提供。3.1 Broker Configs基本配置如下:-broker.id-log.dirs-zookeeper.connectTopic-level配置以及其默认值将在下面讨论。PropertyDefaultDescriptionbroker.id...转载 2019-06-15 17:21:39 · 333 阅读 · 0 评论