Kafka个人总结

最新推荐文章于 2024-01-17 15:56:23 发布
最新推荐文章于 2024-01-17 15:56:23 发布
阅读量537 收藏 4
点赞数
分类专栏： 大数据 文章标签： java kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43323585/article/details/105824989
版权

Kafka总结

Kafka概述介绍

kafka是什么

Kafka是Apache开源的流处理平台，该平台提供了消息的订阅与发布。具有高吞吐、简单、易部署等特点。

Kafka干什么

  1. 消息队列：用于系统解耦、异步通信、流量填谷等。
  2. Kaka Streaming：实时在线流处理。

消息队列工作模式

消息队列的两种工作模式 ：1.最多一次 2.没有限制。如图：
在这里插入图片描述
那么Kafka是怎样的工作模式？继续

Kafka架构和概念

一些概念还是要知道的，编码会用到并且可以帮助理解！最后我会附上我的git地址，我想关于kafka的业务用我的代码库基本都可以搞定了

Kafka消息的生产和消费

Kafka以Topic形式管理分类集群中的消息(Record)。每个Record属于一个Topic并且每个Topic存在多个分区(partition)存放Record，每个分区对应一个服务器(Broker)，这个Broker被称为leader，分区副本对应的Broker成为follower。**需要注意的是只有leader可以读写。**没错，我们很容易就想到zookeeper，那个号称目前为止唯一的分布式一致性算法Paxos，这也为Kafka的数据可靠性提供了保证。可能有点抽象，看图：
在这里插入图片描述在这里插入图片描述

分区和日志

日志就是log，其实就是数据，有点像redis里的log。并不是我们说的打印日志，呵呵
3. 每个Topic可以被多个消费者订阅，Kafka通过Topic管理partiton。
4. 消费者可以通过轮询，负载(对Record的key取模)的方式将Record存入partition中。
5. partition是一个有序不可变的日志序列，每个Record有唯一的offset，用于记录消费情况、为持久化策略提供支撑。
6. kafka默认配置log.retention.hours=168，不管消息有没有被消费Record都可以保存168小时–硬盘保存，具体持久化策略可以通过配置文件定制。
7. partiton内部有序，在多个分区情况下，不要指望先生产先消费。写业务和编码要注意
为什么Kafka要放弃有序，采用分区局部有序性？
就像hadoop的一样，分布式集群，打破物理局限性，不管是性能容量并发量都得到了质的提升，一台搞不定就一百台。毕竟Kafka是大数据框架。

消费组

概念：是一个逻辑的消费者，有多个消费者实例组成。如果4个消费者同时订阅topic1（4个分区），那么一个分区要被消费4次。引入消费组就可以避免重复消费。
编码：消费者可以采用subscribe和assign，采用subscribe订阅topic必须指定消费组！
在这里插入图片描述

Kafka高性能之道

为什么Kafka吞吐量如此之高

Kafka可以轻松支持百万级的写入请求，而且数据会持久化到硬盘，恐怖吗。其实现在想想，一个高性能的技术都是对内核的一个封装，比如Redis底层调用的epoll()，最厉害的还是老大哥OS。

顺序写、mmap

顺序写：硬盘是一个机械结构，寻址是极其耗时的机械动作，所以Kafka用了顺序IO，避免了大量的内存开销和IO寻址的时间。
mmap：Memory Mapped Files内存映射文件，它的工作原理是利用操作系统的PageCache实现文件到物理内存的直接映射，直接写入到了pagecache中，用户对内存的所有操作会被操作系统自动刷新到磁盘上，极大的降低了IO使用率。mmap相当于一个用户态可以直接访问内核态的共享空间，避免了用户态向内核态的切换和copy。
在这里插入图片描述

ZeroCopy

Kafka服务器在响应客户端读取的时候，底层使用ZeroCopy技术，直接将磁盘无需拷贝到用户空间，而是直接将数据通过内核空间传输出去，数据并没有抵达用户空间。
IO模型在这里不赘述了，以后再写吧。
在这里插入图片描述

搭建Kafka集群

请看我写的zookeeper和kafka搭建两篇文章，参考：Kafka集群搭建

Topic管理

  • bootstrap-server：消费者，拉取数据,老版本用-zookeeper这个参数。并且好多数据放到zk中了，这个很不合理。
  • broker-list：生产者，推送数据
  • partitions：分区个数
  • replication-factor : 分区副本因子

创建topic

bin/kafka-topics.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --create  --partitions 3 --replication-factor 2 --topic debug

查看主题列表

bin/kafka-topics.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --list

查看主题详情

bin/kafka-topics.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --describe --topic debug

删除topic

bin/kafka-topics.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --delete --topic debug

生产某个主题的消息

bin/kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic debug

消费某个主题的消息

bin/kafka-console-consumer.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --topic debug --from-beginning

bin/kafka-console-consumer.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --topic debug --group group1

这几个命令还是很有用的！可以辅助我们的测试。

查看消费组

bin/kafka-consumer-groups.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --list

Kafka API

资料来源于工具书的实例，非常全面，已经上传到GIt，现在还没来得及整理，不过以后会整理的，如果觉得不错给个星星哦！包括：生产消费，自定义分区，序列化，拦截器，事务，kafka流处理等。
Git地址：Kafka API

Kafka特性

acks、retries机制

acks应答机制：

  1. acks=1，leader写成功，不等待follower确认返回。无法保证单点故障
  2. acks=0，发送给套接字缓存，确认返回。消息安全系数最低
  3. acks=-1，leader至少一个follower应答后再确认返回。高可用集群
    retries重试机制：
    request.timeout.ms=3000默认超时重试。
    retries=2147483647xxx重试次数。
    Kafka消息语义：消息能至少一次保存

幂等写

幂等性：多次请求的结果和一次请求的结果一致。
Kafka幂等写解决方案：
在这里插入图片描述
对于一些业务上的幂等问题是可以借鉴一下的。要真正解决幂等：{黑名单、签名、token}
需要注意的是
enable.idempotence=false默认关闭幂等
前提条件：retries=true；acks=all

事务

因为 Kafka幂等写不提供跨多个 Partition 和跨会话场景下的保证，因此，我们是需要一种更强的事务保证，能够原子处理多个 Partition 的写入操作，数据要么全部写入成功，要么全部失败，这就是 Kafka Transactions，即 Kafka 事务。
producer提供了initTransactions，beginTransaction，sendOffsetsToTransaction，commitTransaction，abortTransaction 五个事务方法。
consumer提供了read_committed和read_uncommitted。

KafkaEagle监控软件

开源地址：https://github.com/smartloli/kafka-eagle
包括我一开始学习Kafka的书也是他写的。

安装过程

  1. 下载kafka-eagle-bin-1.4.0.tar.gz并解压
  2. mv kafka-eagle-bin-1.4.0 /opt/
  3. 解压之后里面还有个压缩包，再次解压
  4. 修改环境变量
vim /etc/profile
------------------------
# kafka-eagle
export KE_HOME=/opt/kafka-eagle
# PATH
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$KE_HOME/bin
------------------------
source /etc/profile  
echo $PATH
OK~
  1. 修改kafka-eagle配置
[root@node01 conf]# vim system-config.properties
-----------------------------------------------------
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=node01:2181,node02:2181,node03:2181
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181
cluster1.kafka.eagle.offset.storage=kafka
#cluster2.kafka.eagle.offset.storage=zk
kafka.eagle.metrics.charts=true
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
cluster1.kafka.eagle.sasl.client.id=

#cluster2.kafka.eagle.sasl.enable=false
#cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
#cluster2.kafka.eagle.sasl.mechanism=PLAIN
#cluster2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";
#cluster2.kafka.eagle.sasl.client.id=
######################################
# kafka sqlite jdbc driver address
######################################
#kafka.eagle.driver=org.sqlite.JDBC
#kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
#kafka.eagle.username=root
#kafka.eagle.password=www.kafka-eagle.org

######################################
# kafka mysql jdbc driver address
######################################
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456
  1. 修改kafka启动配置，开启JMS
vim kafka-server-start.sh
-------------------------------------
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export JMX_PORT="7379"
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
  1. 最后启动，发现没有启动权限
chmod u+x ke.sh
./ke.sh

Version 1.4.0
*******************************************************************
* Kafka Eagle Service has started success.
* Welcome, Now you can visit 'http://192.168.83.11:8048/ke'
* Account:admin ,Password:123456
*******************************************************************
* <Usage> ke.sh [start|status|stop|restart|stats] </Usage>
* <Usage> https://www.kafka-eagle.org/ </Usage>
*******************************************************************

总结

到此为止，3台zk+3台kafka+kafka-eagle监控其实可以做很多事了。比如：日志收集、消息系统、活动追踪、运营指标、流式处理等。希望能给看到的人些许帮助！
辅助文档：
kafka集群：链接
zk集群：链接

越学越菜
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka框架从入门到精通（全）
码农研究僧的博客
08-29 2706
关于java其他方面的知识点可看我之前的文章： java框架零基础从入门到精通的学习路线（超全）以下内容的学习主要来源于： 【尚硅谷】2022版Kafka3.x教程（从入门到调优，深入全面）应用场景举例： 前端浏览了网站，记录了数据（点赞、评论量等）变成日志，发送到日志服务器，日志服务器（通过Flume时刻监控服务器，只要一有数据变化）上传到Hadoop。 Flume（上传速度为100m/s左右）和Hadoop（采集速度小于100m/s，而且高峰期可能大于200m/s）两者的传输速率不同。可以增加一个kaf
kafka个人学习总结（一）
10-25
个人学习kafka总结，私人使用，个人学习kafka总结，私人使用，个人学习kafka总结，私人使用
Kafka入门到精通
shuai_h的博客
07-10 2709
Kafka是由Apache软件基金会开发的一个开源流平台，由Scala和Java编写。Kafka的Apache官网是这样介绍Kakfa的。Apache Kafka是一个分布式流平台。发布和订阅流数据流，类似于消息队列或者是企业消息传递系统以容错的持久化方式存储数据流处理数据流Publish and subscribe：发布与订阅Store：存储Process：处理特性。
Kafka从入门到精通
qq_45443475的博客
09-20 917
Kafka从入门到精通
全网最全最通俗易懂的Kafka知识点汇总，入门到精通，完全学会
weixin_51702416的博客
08-30 7683
Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列, 可以处理大量的数据, 并使您能够将消息从一个端点传递到另一个端点. Kafka适合离线和在线消息消费. Kafka消息保留在磁盘上, 并在群集内复制以防止数据丢失. Kafka构建在ZooKeeper同步服务之上. 它与Apache Storm 和Spark非常好地集成, 用于实时流式数据分析.Kafka 依赖于日志顺序写, 因此支持消息回溯和支撑高性能读写依赖 Zookeeper架构​。...
BigdataNote:大数据生态学习笔记文档，总结hadoop分布式计算框架、yarn、数据分析步骤、storm、kafka、Hbase、spark等知识用于个人学习，分享优秀笔记博客
05-09
我的个人博客： 我的个人公众号：GoAl分享 大数据优秀博客推荐： 过往记忆大数据博客： 董西城博客： lwx的数据田地： 美团技术团队： 林子雨厦门大学实验室： 大数据学习书签： 自己总结的大数据学习书签，包含各类...
个人搭建遇到zookeeper启动jps没有进程原因
01-07
搭建问题遇到的总结几点，便于找查问题 1）检查配置文件是否有问题 坑点一： zookeeper 配置文件 dataLogDir=/kafka/zookeeperlogs （记得不要写错单词） 坑点二： 在配置的dataDir 下创建myid文件，内容就是对应...
SpringCloud+git配置中心（Kafka+bus消息总线实现全局刷新）
01-20
SpringCloud+git配置中心（Kafka+bus消息总线实现全局刷新）git创建全局配置文件zoopkepper+kafka搭建搭建config服务配置中心搭建微服务客户端相同的方法再做一个客户端(为了体现一处配置中心修改处处生效，所以再做...
boot-related-frame-study:个人关于spring boot相关框架的学习及原始资料阅读总结
03-18
个人学习项目 用于学习各种框架与springboot的整合与源码阅读 boot-mybatis（关于mybatis的原理及二进制学习） boot-kafka（关于kafka的原理及原始码学习） boot-rabbitmq-consumer（关于rabbitmq的原理及源码学习...
Kafka实战手册：从入门到精通，助你成为消息队列领域的佼佼者
最新发布
资料免费分享，点击名片
01-17 398
在当前的科技浪潮中，Kafka已然成为众多互联网巨头的心头好，其在业务领域的应用也愈发广泛。我们不一定需要精通它，但至少要掌握如何使用。这样，在工作中不断提升自己的能力，才能有足够的底气与老板或人力资源部门讨论薪资增长。否则，如果只是埋头苦干，996不停歇，而业务能力并未得到提升，那么终将被公司淘汰。你扪心自问，你真的配得上更高的薪水吗？最后，我想说的是，学习并非难事，关键在于持之以恒。尤其在步入职场后，继续学习更是难能可贵。对程序员来说，学习是立业之本，放弃学习就意味着被市场淘汰。
kafka入门到精通
User_bie的博客
02-24 1014
kafka，java，zk
Kafka史上最详细原理总结
热门推荐
我是Alvin家鸡鸭鱼的小米米
08-31 6万+
Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Li
kafka框架从入门到精通非常全
weixin_38598961的博客
04-12 810
kafka从入门到精通，包含安装，生产者demo,消费者Demo.常用参数，生产使用经验，常用场景，面试常问等等
Kafka从入门到精通(一)
weixin_59244784的博客
12-16 240
Kafka从入门到精通
（一）kafka从入门到精通之初识kafka
隐风的博客
03-28 424
消费者读取消息，消费者通过检查消息的偏移量来区分已经读取过的消息。消费者是消费者群组的一部分，说也就是说会有一个和多个消费者共同读取一个主题，群组保证每个分区只能被一个消费者使用。
java创建kafka的topic
旋风的技术
03-03 6905
kafka 0.10及其以下版本创建topic 这个版本创建topic必须使用zookeeper，一般可以使用如下命令手动创建topic： bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 3 --partitions 3 --topic test 那如何使用代码自动创建topic呢，可以使用AdminZkClient，示例如下： KafkaZkClient zkClient = KafkaZkClie
Redis实现消息队列
ALIVE
11-04 1942
Redis实现轻量级的消息队列与消息中间件相比，没有高级特性也没有ACK保证，无法做到数据不重不漏，如果业务简单而且对消息的可靠性不是那么严格可以尝试使用。 列表类型 Redis中列表List类型是按照插入顺序排序的字符串链表，和数据结构中的普通链表一样，可以在头部left和尾部right添加新的元素。插入时如果键不存在Redis将为该键创建一个新的链表。如果链表中所有元素均被删除，那么该键也会...
kafka创建topic命令_kafka常用命令总结
05-31
要在Kafka中创建一个新的topic，可以使用以下命令： ``` bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic my-topic ``` 这个命令做了以下几件事情： - ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值