kafka基础入门未完成（笔记整理）

最新推荐文章于 2023-04-15 12:04:53 发布
最新推荐文章于 2023-04-15 12:04:53 发布
阅读量59 收藏
点赞数
分类专栏： 我的博客 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a961634066/article/details/117663843
版权

个人学习笔记整理

架构图

架构图学习时白话文解释记录：生产者生产消息，往kafka集群管理消息发送，Broker相当于一个服务器，然后消息是分很多类型的，所以每个服务器又被划分了很多Topic主题，Partition分区，提高并发，副本分Leader，Follower为备份的作用，防止宕机，生产者、消费者只找Leader拿数据；消费者，可以把多个消费者放一个组，一个分区只能被同一个消费者组里边的一个消费者消费，消费者组提高消费能力，要让kafka多台是一个集群，都在Zookeeper注册就行，消费者要保留消费的位置信息，消费到哪条消息了，挂掉之后重启接着上次消费，位置信息保存在Zookeeper里边，0.9版本之前offser存储在Zookeeper，0.9版本及之后存储在本地kafka

天黑前最后的余辉
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[Spark版本更新]--2.3.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
03-03 1万+
自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...
Kafka入门篇学习笔记整理
m0_53157173的博客
04-09 962
Kafka入门篇学习笔记整理，主要参考: 极客时间Kafka源码与实战专栏，Kafka权威指南，B站一小时Kafka精讲，和其他一些资源
Kafka基础篇学习笔记整理
最新发布
m0_53157173的博客
04-15 755
Kafka基础篇学习笔记整理
Kafka入门笔记
weixin_42879686的博客
02-19 140
消息队列 Kafka 系统架构 一个典型的消息队列 Kafka 集群包含： Producer：通过 push 模式向消息队列 Kafka Broker 发送消息，可以是网站的页面访问、服务器日志等，也可以是 CPU 和内存相关的系统资源信息； Kafka Broker：消息队列 Kafka 的服务器，用于存储消息；支持水平扩展，一般 Broker 节点数量越多，集群吞吐率越高； Consumer ...
Kafka基础知识入门篇
qq_23681041的博客
05-29 162
kafka简介 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用与大数据实时处理领域。其主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率。即使在非常廉价的机器上也能做到单机支持每秒100K条消息的传输 支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输，同时支持离线数据处理和实时数据处理 kafka基.
原创Kafka学习笔记，java简历模板百度网盘
m0_57285455的博客
05-27 164
前言 在网络技术中基于浏览器的B/S结构无论在PC端还是手机端都充当着至关重要的角色。 PC端自不必说，手机中很多应用虽然是以APP的形式存在，但它采用的还是B/S结构。如今日头条、微信的朋友圈等，这些应用在内部封装了浏览器，后端仍然是 Web站点。 在大型网站和复杂系统的开发中，Java无疑具有很大的优势，而在lava的Web框架中 Sprig MVC 以其强大的功能和简单且灵活的用法受到越来越多开发者的青睐。 Spring MVC入门很简单，但是要想真正使用好却并非易事，而且现在也没有全面、深入地使用资
Spring Cloud Alibaba从入门到精通！
程序媛小琬的博客
09-29 4396
前台 一. 课程介绍 1.1 课程导学 什么是SpringCloudAlibaba? 阿里巴巴结合自身微服务实践，开源的微服务全家桶 在Spring Cloud项目中孵化，很可能成为Spring Cloud第二代标准的实现 在业界广泛使用，已有很多成功案例 Spring Cloud Alibaba真实应用场景 大型复杂的系统，例如大型电商系统 高并发系统，例如大型门户，秒杀系统 需求不明确，且变更很快的系统，例如初创公司业务系统 Spring Cloud Alibaba与Spring C
2021最新整理JAVA常见面试题附答案
weixin_47345084的博客
01-03 6932
包含的模块： 本文分为十九个模块，分别是：Java 基础、容器、多线程、反射、对象拷贝、Java Web 、异常、网络、设计模式、Spring/Spring MVC、Spring Boot/Spring Cloud、Hibernate、MyBatis、RabbitMQ、Kafka、Zookeeper、MySQL、Redis、JVM需要的可以【点击这里领取完整版的面试题~暗号CSDN】 如下图所示： 共包含 208 道面试题，本文的宗旨是为读者朋友们整理一份详实而又权威的面试清单，下面一起进入主题吧。 ==
芋道 Spring Cloud Alibaba 注册中心 Nacos 入门
芋艿V
04-18 766
点击上方“芋道源码”，选择“设为星标”做积极的人，而不是积极废人！源码精品专栏原创 | Java 2020 超神之路，很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络...
python跨域问题解决
a961634066的博客
09-18 7194
方案1.安装django-cors-headers pip install django-cors-header 配置settings.py文件 INSTALLED_APPS=[ ... 'corsheaders'， ... ] MIDDLEWARE_CLASSES=( ...
python操作postgresql存储json与列表数据
a961634066的博客
09-01 3579
自己摸索瞎记录的，以备下次使用，有知道更好方法，请指出 1. 建表sql CREATE TABLE table_name ( aaa json NULL, bbb json[] NULL, ccc text[] NULL） 2. 插入sql (1) 存储json 保存时，先dumps，然后传参存储，查询后再loads import json from psycopg2.extras import Json cur = conn.cursor() p.......
QuerySet方法大全
a961634066的博客
01-02 3264
################################################################## # PUBLIC METHODS THAT ALTER ATTRIBUTES AND RETURN A NEW QUERYSET # ################################################################...
flask-个人笔记（bootstrap分页，登录注册，缓存）
a961634066的博客
07-15 2690
 bootstrap之分页、cache，模态框登录注册等 一、bootstrap与分页之模板     继承bootstrap/base.html里面已经导入bootstrap需要的东西,  剩下填坑，Bootstrap自带模板        1.导航条     {% block navbar %}         从bootstrap复制，根据自己要求修改，一定要仔细看清复制结构         ...
flask-（Forms表单与flash消息闪现）
a961634066的博客
08-21 2241
.Form表单后端     （1）首先,导入表单基类，falsk-wtf使用秘钥生成加密令牌，用加密令牌验证请求中表单数据的真伪          # 管理员登录表单 class LoginForm(FlaskForm):     account = StringField(         label="账号",         validators=[             Da...
centos与ubuntu升级openssh详细操作
a961634066的博客
06-19 1972
安装时发现各种报错，各种缺少依赖，以下是自己安装时碰到的问题。可做参考 因为Openssh MaxAuthTries限制绕过漏洞问题，升级 1. 关闭selinux（若ubuntu没有，可以不设置） vim /etc/sysconfig/selinux 修改 SELINUX=disabled （原始enforcing） 一 前期准备 1.1 依赖安装 1、 Zlib1.1.4或1.2.1....
thinkphp5前后端分离，同域名部署
a961634066的博客
12-14 918
使用nginx域名转发 1. 后台接口以/api开头 2.nginx检测api开头，转到后台应用 3.配置示例 # 刷新页面404 location / { try_files $uri $uri/ /index.html; } # 转发域名 location /api/ { proxy_pass http://artemis.lstree.top; } # 访问静态资源 location ^~
python的Elasticsearch分页实践记录
a961634066的博客
07-07 905
记录使用中遇到的坑及处理方法es查询时，最大条数1w，调大限制等处理没研究，暂时分页获取1. from + size使用偏移+条数分页，使用过，超过1w也会报错，报的是from+size不能超过1w2. 使用scroll分页，反馈第一个快照查询的结果和快照的id，可继续查询 遇到报错：（404， ‘search_phase_execution_exception’, 'No search context found for id [123]'）解决：是因为快照过期时间设置过短，id自动清除了，可以更改时
个人flask笔记（请求，响应，session）
a961634066的博客
07-11 897
一、请求（Request） def requesttese()：      1.请求方式     print（request.method）       2.请求路径     print（request.path）     3.请求参数（get） 类似于字典     print（request.args）  字典形式输出     print（request.args[‘参数名’]）  获取key...
Kafka基础入门：搭建与核心概念解析
Kafka基础学习PPT是一个深入浅出的资料，介绍了Apache Kafka这款重要的分布式消息中间件。Kafka最初由LinkedIn开发并在2011年开源，旨在解决大规模数据处理中的消息传递问题，强调了其在统一、高效、低延迟和高吞吐...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值