Kafka学习（001 简介和安装）

最新推荐文章于 2024-09-03 16:55:43 发布
最新推荐文章于 2024-09-03 16:55:43 发布
阅读量37 收藏
点赞数
分类专栏： kafka 文章标签： kafka 学习 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wang_book/article/details/133704460
版权

【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）

总时长 12:31:00 共96

此文章包含第1p-第p6的内容

这里需要Hadoop的前置知识

简介

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

定义

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

分主题进行订阅 消费者自己选择自己需要的主题进行接收 速度按自己的来
在这里插入图片描述

在这里插入图片描述

消息队列

在这里插入图片描述

异步，解耦，削峰
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

消息队列的两种模式

在这里插入图片描述
在这里插入图片描述

不删除 后期kafka/消息队列会自己主动 控制什么时候进行删除
在这里插入图片描述
在这里插入图片描述

一般都使用发布订阅模式
在这里插入图片描述

基础架构

在这里插入图片描述
在这里插入图片描述

数据太多 一台服务器一般也就8T到96T 放不下100T的数据

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

一个分区的数据由一个消费者来消费
同一个消费组，不允许消费同一个分区
在这里插入图片描述
加副本
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
2.8.0之后逐渐抛弃zookeeper 改用Kraft 但是两种都可以
在这里插入图片描述

快速入门

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
解压
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
生产者 主题 消费者 三个框
在这里插入图片描述
配置信息
在这里插入图片描述

在这里插入图片描述

libs 第三方jar包
在这里插入图片描述

配置server.properties
  • 唯一标识

在这里插入图片描述

  • 存储kafka对应的数据的地方
    在这里插入图片描述
    在这里插入图片描述
  • zookeeper的端口
    在这里插入图片描述
    也就是说不同的集群就一个目录就行了
    不学hadoop的可以先去hadoop教程搭个环境再回来，没多久！
    在这里插入图片描述

分发kafka
xsync kafka
xsync 是之前写的脚本 对其他两个服务器进行分发
在这里插入图片描述
分发完给另外两个服务器的这个文件进行修改id
在这里插入图片描述

修改环境变量
在这里插入图片描述

在这里插入图片描述

这个脚本是Hadoop时写的
在这里插入图片描述

在这里插入图片描述

source
在这里插入图片描述
在这里插入图片描述

wang_book
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据学习之路113-Pulsar详细指南(从安装到使用包括与Kafka的对比及使用总结)
爱米酱的博客
08-03 3106
1. Pulsar简介 1.1 什么是Pulsar？ Apache Pulsar是一种类似于Kafka的消息中间件，是一个支持多租户的、高性能的服务与服务之间消息通讯的解决方案。 1.2 Pulsar的特性 Pulsar之所以能够称为下一代消息队列，主要是因为以下特性： 线性扩展，能够扩容到成百上千个节点，扩展性强 高吞吐，已经在Yahoo的生产环境中经受了考验，每秒数百万消息 低延迟，在大规模的消息量下依然可以保持低延迟(<5ms) 持久化机制，Pulsar的持久化机...
学习IO由浅入深
weixin_45985053的博客
07-19 273
应用进程调用accept()时，触发系统把数据从网卡缓冲区复制到内核空间，再从内核空间复制到用户空间，如果这个过程中，数据没有准备好，到数据返回或发生错误返回之前，用户进程一直处于阻塞状态，这个就是阻塞IO。将创建InputStream写入到try()中，可以帮我们实现close()关闭流的操作，这个close中包含了buffred的flush操作，如果没有关闭流，又没有手动flush()，将会丢失数据。关于序列化和反序列化这个问题，我在18年参加工作的时候，遇到过一个项目，之后就再没有用过了。...
Kafka详解(包括kafka集群搭建)
热门推荐
wudidahuanggua的博客
09-29 6万+
对kafka细致的解析，从理论到集群搭建实战
windows下安装kafka
晨港飞燕的专栏
05-02 2万+
一.下载 kafka官网下载地址:http://kafka.apache.org/downloads.html,下载二进制的. 二.安装 1.安装zookeeper windows环境下安装zookeeper(单机版) 安装并启动后的界面: 2.安装kafka 我下载的kafka_2.13-2.8.0.tgz,并解压到D:\Tools\kafka_2.13-2.8.0目录下 编辑文件Kafka配置文件， D:\Tools\kafka_2.13-2.8.0\config\server.
kafka学习之一简单安装以及使用
liushangzaibeijing的博客
12-16 4万+
b本篇博客是kafka的入门学习，主要介绍了什么是kafka框架，框架的设计、特性等概念，后面介绍了搭建单节点的kafka服务、演示了创建topic、生产和消费过程，介绍了kafka集群搭建以及容错性。
Kafka简单介绍+安装
WQY992的博客
10-24 534
Kafka安装 接上
Fabric学习--环境搭建
chendygame的博客
09-24 2666
1、准备工作 1.1安装环境 win10/VMware® Workstation 15 Pro/Centos8.2 1.2 虚拟机配置 网络：NAT模式 , 其他视情况而定； 1.3 环境检查 ping通网络； 开启虚拟机 启动xshell登录系统 1.4 用户配置 建立一个管理员用户fabric。 2、安装步骤 2.1安装wget 因为需要管理员权限，所以要用sudo授权执行此命令。 sudo yum -y install wget 2.2安装go 2.2.1下载go.
SpringBoot学习笔记
weixin_46087136的博客
02-18 386
SpringBoot学习笔记基础入门SpringBoot特点:1.为什么使用springboot2.SpringBoot的优点3.SpringBoot的缺点SprngBoot入门1.项目结构2.项目依赖3.自动配置容器功能1.添加组件1.1、@Configuration1.2、@Bean、@Component、@Controller、@Service、@Repository1.3、@ComponentScan、@Import1.4、 @Conditional2.配置文件引入@ImportResource@C
经验笔记：选择消息中间件——RabbitMQ vs RocketMQ vs Apache Kafka
qq_45831414的博客
08-28 1121
无论选择RabbitMQ、RocketMQ还是Apache Kafka，都有各自的优势和适用场景。通过深入了解这些中间件的特性和应用场景，结合自身项目的具体需求，您将能够做出最合适的选择。消息中间件是现代分布式系统的重要组成部分，用于在不同的服务之间传递消息，实现解耦和异步通信。这包括但不限于性能需求、可靠性需求、扩展性需求、安全性需求、功能需求、易用性需求、成本考虑等。是一个开源的消息代理和队列服务器，支持多种消息协议，如AMQP、STOMP、MQTT等。
RabbitMQ和Kafka的区别
天地孤影任我行的博客
08-30 841
RabbitMQ:Kafka:RabbitMQ:Kafka:RabbitMQ:Kafka:RabbitMQ:Kafka:
Kafka【三】Windows下安装Kafka集群
小小默：进无止境
08-28 947
如果启动过程报错，主要是因为zookeeper和kafka的同步问题，请先执行cluster-clear.cmd文件，再执行cluster.cmd文件即可。集群启动命令后，会打开多个黑窗口，每一个窗口都是一个kafka服务，请不要关闭，一旦关闭，对应的kafka服务就停止了。因为kafka内置了ZooKeeper软件，所以此处将解压缩的文件作为ZooKeeper软件使用。将kafka1文件夹复制两份，改名为kafka2，kafka3。修改文件夹名为kafkazookeeper。
二百五十九、Java——采集Kafka数据，解析成一条条数据，写入另一Kafka中（一般JSON）
tiantang2renjian的博客
09-03 1010
Java——采集Kafka数据，解析成一条条数据，写入另一Kafka中（一般JSON）
Kafka3.x 使用 KRaft 模式部署 不依赖 ZooKeeper
code在飞的博客
08-28 479
Kafka 从 2.8.0 版本开始引入了 Kafka Raft Metadata Mode（KRaft 模式），这个模式允许 Kafka 在不依赖 ZooKeeper 的情况下进行元数据管理。KRaft 模式在 Kafka 3.0.0 中进入了稳定版本,本文部署的 Kafka_2.12-3.6.0。
消息中间件：深入理解 Kafka的消息顺序和一致性、可靠性和高可用性 第1版
upgrador的博客
08-31 1430
Kafka 是一种分布式消息中间件，它能够处理大规模的实时数据流，是现代分布式系统中的关键组件。作为高吞吐量、低延迟、强扩展性和高容错的消息系统，Kafka在各种场景中都表现出了卓越的性能。本文将深入探讨 Kafka 的适用场景、消息顺序与一致性保证、高可用性机制等关键知识点。
Datawhale X 李宏毅苹果书AI夏令营 学习笔记
m0_61049596的博客
08-31 869
今天，我继续学习了深度学习中的优化算法，并且着重理解了如何利用。等高级优化器来提高模型训练的效率和效果。2024年8月30日。
java重点学习-spring
qq_40453972的博客
09-03 639
AOP称为面向切面编程，用于将那些与业务无关，但却对多个对象产生影响的公共行为和逻辑，抽取并封装为一个可重用的模块，这个模块被命名为“切面”(Aspect)，减少系统中的重复代码，降低了模块间的耦合度，同时提高了系统的可维护性。常见的AOP使用场景记录操作日志、●缓存处理Spring中内置的事务处理什么是AOP面向切面编程，用于将那些与业务无关，但却对多个对象产生影响的公共行为和逻辑，抽取公共模块复用，降低耦合你们项目中有没有使用到AOP。
关于HarmonyOS的学习
m0_72035166的博客
08-30 753
1.flex固定定位的特点：脱离文档流，不会占位置；相对于body定位；不区分元素类型；不会随滚动条的滚动而滚动。2.sticky粘性定位的特点：是在固定定位和相对定位之间的一种定位。如果设置了坐标，满足条件，那么他就是固定定位，反之就是相对定位。3.吸顶效果*{margin: 0;padding: 0;main{4.轮播图结构：opacity，表示透明：取值范围0-1 0.1 0.2... 可以省略0不写；
学习项目1
最新发布
m0_62803606的博客
09-03 1386
这篇文章主要记录你最近入手的无线串口模块的配置情况，这是个很好的习惯，尤其是在你以后需要重复操作或排查问题时，会非常有帮助。- **DL_20无线串口模块**：这是一个常见的无线串口通信模块，通常基于nRF24L01+等无线通信芯片，支持点对点或多点通信，适合短距离的无线数据传输。是的，如果你按照步骤成功配置了两个模块并将它们连接到单机和电脑，当你在上位机软件（如SSCOM）上能稳定地接收到从单片机发送的数据（例如每秒输出的T值），就说明两个无线模块之间的通信已经配置成功。
Kafka集群全面指南：安装与实战
"Kafka集群的安装和使用" 在本文中，我们将深入探讨Apache Kafka，一个高吞吐量的分布式消息队列系统，最初由LinkedIn开发，并已成为许多公司的核心数据处理工具。Kafka的设计目标是处理大规模实时数据流，提供可靠...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值