![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
啊策策
通吃java, 大数据.
展开
-
如何根据数据量确定Kafka分区个数、Kafka的分区是不是越多越好、Kafak生产者分发策略,消费者负载均衡 09
1. Kafka的分区数是不是越多越好?1.1 分区多的优点Kafka使用分区将topic的消息打算到多个分区分布保存在不同的broker上,实现了producer和consumer消息处理的高吞吐量。Kafka的producer和consumer都可以多线程地并行操作,而每个线程处理的是一个分区的数据。因此分区实际上是调优Kafka并行度的最小单元。对于producer而言,它实际上...原创 2019-04-14 19:34:15 · 11018 阅读 · 6 评论 -
Kafka性能基准测试、Kafak生产者吞吐量测试、Kafka消费者吞吐量测试、BenchMark 10
前言_BenchMarkBenchMark是一个系统性能的测量工具,也可以看做是一种评价方式主要测试负载的执行时间、传输速度、吞吐量、资源占用率等对系统进行性能基准测试后,将得到基准数据作为性能指标的参照物,可以用于以下场景1.任意一项变更为系统产生的影响修改某项配置参数后(启用某项参数),系统的变化情况2.系统环境的变更对系统性能产生的影响3.在相同场景下,不同框架的系统...原创 2019-04-16 19:30:50 · 4736 阅读 · 8 评论 -
Kafka高级特性之零拷贝 08
1. 零拷贝背景网络传输持久性日志块Java Nio channel.transforTo()方法Linux sendfile系统调用2. 文件传输到网路的公共数据路径操作系统将数据从磁盘读入到内核空间的页缓存应用程序将数据从内核空间读入到用户空间缓存中应用程序将数据写回到内核空间到socket缓存中操作系统将数据从socket缓冲区复制都网卡缓冲区,以便将数据经网络发出...原创 2019-04-12 19:57:42 · 980 阅读 · 0 评论 -
Kafka高级特性之消息事务、事务保证、避免僵尸实例 07
1. Kafka消息事务1.1 数据传输的事务定义最多一次:消息不会被重复发送,最多被传输一次,但也有可能一次不传输。最少一次:消息不会被漏发送,最少被传输一次,但也有可能被重复传输。精确的一次(Exactly once):不会漏传输也不会重复传输,每个消息都被一次传输而且仅仅被传输一次,这也是大家所期望的。1.2 事务保证内部重试问题:Procedure幂处理多分区原子写入...原创 2019-04-12 18:34:35 · 783 阅读 · 0 评论 -
Kafka的java API交互方式、Topic串联、Kafka版本兼容 06
1. 普通Topic生成消息&消费消息Java工程-maven,依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.1</...原创 2019-04-12 11:55:42 · 630 阅读 · 0 评论 -
Kafka的shell交互方式、创建topic、查看topic、新增topic、查看offset 05
1. Kafka的shell交互方式1.1 启动操作启动Kafka,后台方式启动cd /export/servers/kafka/binnohup ./kafka-server-start.sh ../config/server.properties &停止Kafkajpskill -9 xxx1.2 topic操作创建主题bin/kafka-topic...原创 2019-04-11 11:37:23 · 1554 阅读 · 0 评论 -
Kafka生产者分发策略、消息查找原理,消息不丢失原理 04
1. Kafka和ZK的关系元数据存放到zk(节点中),应用了zk统一命名的功能集群节点信息:brokerId 每台机器的idtopic信息:在哪台机器上的哪个位置parition主从信息:每个partition多个副本中,谁是老大partition_0 有多个副本,需要选择出老大,应用了zk的分布式锁功能Kafka没有单独的界面,观察zk节点或者安装Kafka-eagle...原创 2019-04-09 19:49:41 · 900 阅读 · 0 评论 -
Kafka-Zookeeper监控工具简介、安装及使用 03
1. Kafka-eagle概述Kafka没有专门的监控界面,当业务不复杂时,我们可以使用Kafka命令提供带有Zookeeper客户端工具的工具,可以轻松完成我们的工作。随着业务的复杂性,增加Group和Topic,Kafka命令已经无法满足业务需求,需要专门的Kafka监控系统,来关注消费者应用的细节。2. Kafka-eagle环境部署和安装2.1 环境2.1.1 安装JDK...原创 2019-04-09 16:13:08 · 1881 阅读 · 0 评论 -
Kafka集群搭建 02
1. Kafka是什么1.1 Kafka是什么?三个定义Kafka是一个消息队列(生产者消费者模式)Kafka目标:构建企业中统一的、高通量、低延时的消息平台大多数的消息队列(消息中间件)都是基于JMS标准实现的,Kafka类似于JMS的实现。1.2 Kafka有什么用?(消息队列有什么用?)作为缓冲,来异构、解耦系统用户注册需要完成多个步骤,每个步骤执行都需要很长时间。代表...原创 2019-04-07 20:45:16 · 183 阅读 · 0 评论 -
Kafka入门、Kafka应用场景、Kafka设计理念 01
1. Kafka简介Kafka是linkedin用于日志处理的分布式消息队列,同时支持离线和在线日志处理。Kakfa对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer。Kafka集群有多个Kafka实例组成,每个实例(server)称为broker。无论是Kafka集群,还是producer和consumer都依赖有zookeeper来保证系...原创 2019-04-12 17:54:14 · 331 阅读 · 0 评论 -
大数据企业级消息平台 Apache Kafka 前传 01
1. Kafka是什么Kafka是一个开源消息系统,由Scala写成。是有Apache软件软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。Kafka是一个分布式消息队列:生产者、消费者的功能。它提供了类似JMS的特性,...原创 2019-04-07 10:53:12 · 162 阅读 · 0 评论