17.每日一读-kafka为什么这么快？

最新推荐文章于 2022-03-15 00:18:10 发布
最新推荐文章于 2022-03-15 00:18:10 发布
阅读量927 收藏
点赞数
分类专栏： 实用知识 每日一读 文章标签： kafka 每日一读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/apple_56973763/article/details/123172693
版权
博客探讨了Kafka如何实现大吞吐量，包括利用磁盘顺序读写提升性能，通过操作系统页缓存加速处理，采用字节紧密存储减少对象创建，以及实施零拷贝技术来降低数据传输成本。此外，批量处理也是其提高效率的关键策略。
摘要由CSDN通过智能技术生成

0、Kafka对于大吞吐量设计是最佳选择

1、磁盘顺序读写

在这里插入图片描述

2、页缓存

直接使用操作系统的页缓存特性提高处理速度
Kafka采用字节紧密存储，避免产生对象，这样可以进一步提高空间利用率

3、零拷贝

在这里插入图片描述
在这里插入图片描述

4、批量处理

lookNo施
关注
专栏目录
jmeter.backendlistener.kafka-1.0.1.jar
08-23
jmeter后端侦听器kafka 一个JMeter插件，使您可以将测试结果发送到Kafka服务器
flink-sql-connector-kafka-2.12-1.13.1.jar
最新发布
03-15
flink-sql-connector-kafka_2.12-1.13.1.jar 是 Apache Flink 的一个 Kafka SQL Connector 的 JAR 包，用于在 Flink SQL 环境中与 Apache Kafka 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 ...
pentaho-kafka-consumer.zip
03-16
在标题"pentaho-kafka-consumer.zip"中，我们看到的是一个专门为Pentaho Kettle定制的Kafka消费者插件的压缩包。 这个压缩包的描述提到了如何在Pentaho环境中安装和使用这个插件。首先，你需要在你的Pentaho Kettle...
kafka-schema-registry-client-6.2.2.jar
04-25
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=6.2.2 -Dfile=/root/kafka-schema-registry-client-6.2.2.jar -Dpackaging=jar 官网下载地址 packages....
KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel
08-15
标题中的“KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel”指的是Apache Kafka的一个特定版本的软件包，适用于Red Hat Enterprise Linux 7（RHEL 7）系统。这个版本是3.1.1，并且可能是某个特定发行版或修补版的1.3.1.1.p0.2...
14.每日一读-到底什么是蓝绿、红黑、灰度发布
apple_56973763的博客
01-28 5575
1.科学部署的意义 尽可能减少服务停机时间 控制新版本带来的质量风险 2.全量发布与增量发布 3.蓝绿发布 1.我有两个应用集群，应用集群A与应用集群B，这两个集群的版本都是v1.0，现在使用蓝绿部署的方法进行升级上线 2.在网关中设置，先断开应用集群A的连接 3.将应用集群A升级到V1.1 4.设置网关对应用集群A的连接 5.设置网关断开应用集群B的连接 6.升级应用集群B到v1.1 7.设置网关连接应用集群B 3.红黑发布 红黑发布针对的是一个集群 1.有一个应用集群Av1.0需要对其升
二进制部署kubernetes
apple_56973763的博客
03-14 2566
2.基础环境准备 2.1 系统基础设置（所有机器都要执行） 2.1.1 设置主机名 hostnamectl set-hostname hdss7-xx.host.com 2.1.2 设置网卡 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE="Ethernet" PROXY_METHOD="none" BROWSER_ONLY="no" BOOTPROTO=none DEFROUTE="yes" IPV4_FAILURE_FATAL="no"
8.每日一读—Canal实现mysql异构数据同步
apple_56973763的博客
01-17 1545
1.什么是异构数据 MySQL中存储的数据，elasticsearch中存储的数据。这两种数据就是异构数据。 2.身处漩涡中心的mysql团队 举个栗子： 在一个商城的开发项目中有一个mysql团队，使用mysql来保存商品的信息。 现在需要增加一个“全文检索”的功能，成立了Elasticsearch团队。mysql中新增加一条信息，就需要mysql团队调用Elasticsearch团队的接口新建商品信息。 这样就出现了一个严重的问题，代码出现了强耦合。mysql团队必须了解elasticsearch团队
6.每日一读—IP直连的问题
apple_56973763的博客
01-12 1407
1.IP直连有什么问题？ 1.1 什么是IP直连 举个栗子： 在写代码时连接数据库使用的IP地址 1.2 IP直连带来的问题 强耦合： 2.如何解决IP直连的问题？ 2.1 使用内部DNS 简单粗暴 但没有故障发现与转移 多IP只有轮询规则 2.2 注册中心 支持故障发现与故障转移 多种负载均衡规则 架构复杂度增加 ...
3.每日一读—多级缓存
apple_56973763的博客
01-10 1394
1.为什么需要缓存？ 提升性能最直接的方法 原始数据存放在MySQL数据库上，MYSQL将数据存放在硬盘上，防止数据丢失 硬盘比内存设备在IO层面上慢了不止一个数量级 在多数互联网应用都是读多写少的场景，使用读写分离。数据写入mysql然后同步到redis中让用户进行读写，这里的redis就是缓存了 2.分布式缓存讲解 2.1客户端 浏览器将一些静态资源保存到本地（设置有过期时间），从而减少重复请求静态资源。 响应头：Expires与Cache-Control的区别 Expires是指定具体某个时
9.每日一读—MHA：MySQL高可用架构方案
apple_56973763的博客
01-17 1171
1.什么是MHA，mysql的高可用架构方案 mysql的架构方案 在互联网公司mysql的架构方案一般采用的是主从复制，一主多从的方案。 在默认情况下mysql架构方案是不具备高可用性的，当主节点挂掉以后从节点是没有“感知”不会采取“行动”的。 MHA就是最成熟的mysql高可用方案 2.MHA：故障发现与转移 判断master已经挂掉： MHA manager ping 三次master，当ping不通的时候可以判断有两种情况。a.MHA manager 到master的通信断掉。b.master挂
15.每日一读-RabbitMQ的六种队列模式与应用场景
apple_56973763的博客
02-24 1035
1.MQ的组件： 生产者：消息提供者 消费者：消息使用者 MQ服务器：管理队列、消息及相关信息 消息：程序间通讯的数据 队列：消息存放的容器，消息是先进先出的 交换机：用于分发消息 2.RabbitMQ工作模式 2.1 简单模式 无交换机参与。实际工作中几乎用不到。生产者通过MQ将消息放入队列，队列发送给消费者。 2.2 工作队列 类似负载均衡。在多个消息的情况下，工作队列模式会将消息分发给不同的消费者，每个消费者会收到不同的消息， 并且根据处理消息的速度来接收消息的数量，进而让消费者程序发挥最大性
kubernetes的pod如何在yaml文件中设置环境变量？
apple_56973763的博客
03-15 969
1.在containers下的使用env，或者args
11.每日一读-公共表在分布式架构下该如何访问？
apple_56973763的博客
01-26 900
1.那些是公共表？ 被其他业务模块共享的基础数据表，被称为公共表 比如：系统用户表、行政区划、组织机构、系统配置 2.分布式环境下公共表会遇到哪些新问题？ 假如用户表有4000万数据，在查询时不小心没有索引，导致磁盘IO直接拉满，其他表访问就会出现高延迟。 实时数据，将公共表下沉为基础服务 业务模块上浮为业务服务 业务应用通过RPC、RESTful API访问 数据层面解耦，有独立的服务器资源支撑 团队之间解耦，谁的模块谁负责 开发起来真的麻烦 如何屏蔽底层复杂度是架构设计的难点 ...
13.每日一读-分清脏读、幻读、 不可重复读
apple_56973763的博客
01-27 879
脏读：指读取到其他事务正在处理的未提交数据 不可重复读：指并发更新时，另一个事务前后查询相同数据时的数据不符合预期 幻读：指并发新增、删除这种会产生数量变化的操作时，另一个事务前后查询相同数据时的不符合预期 事务隔离级别 MySQL默认Repeatable Read(RR)-可重复读 MySQL 5.1以后默认存储引擎就是InnoDB 因此MySQL默认RR也能解决幻读问题 ...
10.每日一读-Redis哨兵模式简讲
apple_56973763的博客
01-19 863
1.Redis主从复制过程 1.在生产工作中Redis一般采用一主多从的架构 2.Redis主从复制的过程 2.Redis Sentinel高可用集群 3.Sentinel节点挂了怎么办？
kubernetes-kubectl操作实例
apple_56973763的博客
01-22 803
1.创建资源对象 根据YAML配置文件一次性创建Service和RC： kubectl create -f my-service.yaml -f my-rc.yaml 根据目录下所有.yaml、.yml、.json文件的定义进行创建： kubectl create -f <directory> 2.查看资源对象 查看所有的Pod列表： kubectl get pods 查看RC和Service列表： kubectl get rc,service 3.描述资源对象 显示Node的详细信息
Linux超级干货-python3编译安装
apple_56973763的博客
06-08 769
1.安装编译环境 yum install gcc patch libffi-devel python-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel -y 2.获取python的源代码 wget https://www.python.org/ftp/python/3.6.9/P
version: '3' services: kafka01: image: wurstmeister/kafka:latest ports: - 19092:9092 environment: - KAFKA_BROKER_ID=0 - KAFKA_ZOOKEEPER_CONNECT=192.168.233.129:12181 - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.233.129:19092 - KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 container_name: kafka01 tty: true restart: always 给坐上持久化
07-12
To add persistence to the Kafka container, you can add a volume to the `docker-compose.yml` file. Here's an updated version with persistence: ```yaml version: '3' services: kafka01: image: ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值