【kafka】在linux中安装并简单部署使用

已于 2023-11-07 19:39:39 修改
阅读量301 收藏
点赞数
分类专栏： linux 文章标签： kafka linux
于 2023-11-07 19:38:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51543898/article/details/134274542
版权

文章目录

简介

分布式流处理平台：发布订阅消息队列、具有存储功能、一个流处理框架

优势

  1. 吞吐量好，性能好
  2. 伸缩性好，支持在线扩展
  3. 容错性和可靠性（容错性：一个消息存储三份 ）
  4. 与大数据生态紧密结合，可无缝对接hadoop、strom、spark等

消息模型

JMS规范

进局限于java

队列：点对点；

主题：发布订阅

常见的：Apache ActiveMQ

AMQP模型

是一个协议，通常协议可以跨语言

三大实体：队列、信箱、绑定

消息先放在信箱里面，根据绑定的路由规则，再将消息放到队列里面，供消费者消费

特点：支持事务，数据一致性高，对性能要求不高

典型的消息中间件：Pivotal RabbitMQ

MQTT

基本概念

Topic主题

消息存在在主题中。

类似于数据库中的表，通常相同类型的消息存在同一个主题中，topic属于半结构化的数据，因此不同类型的消息也可以存储在一个主题中。

Partition分区

一个主题存在多个分区。不同的分区存在不同的服务器上

分区使得kafka具有了拓展性。

分区是一个线性增长的不可变的提交日志

偏移量

消息存储到分区之后，消息就不可变更，kafka会给每条消息分配一个偏移量。

偏移量用于记录每条消息的位置。

kafka可以通过偏移量来对消息进行提取，但是无法检索和查询消息内容

偏移量唯一不可重复，依次递增。

Record消息记录

以键值对的形式存储。如果不指定key,则key值为空。

如果key值为空，kafka将以轮询的方式，将消息存到不同的分区中

如果指定了key，则相同key的消息会被写到同一个分区

副本

避免数据丢失。

通过设置replication-factor=n （副类因子，包括主分区在内，一共有n个副本）来规定副本数量。

主分区又称为：leader。所有数据的写入、读取都是leader中

Broker消息代理

Kafka集群是由多个消息代理组成的

负责消息的读写请求，并将数据写入磁盘中。

通常每个服务器上启动一个broker

下载

  1. 下载kafka scala安装包 Apache Kafka

  2. 放到本地虚拟机中，然后进行解压缩 tar -xzvf kafka_2.13-3.5.1.tgz

    bin目录：kafka操作的一些shell脚本

    config目录：配置文件

    libs目录：依赖包

    site-docs：说明文档

本地伪分布式安装

配置

kafka依赖zookeeper（新版本的kafka不再依赖zookeeper）

  1. 将zookeeper配置文件复制到etc文件夹下 cp config/zookeeper.properties

    zookeeper文件内容：

    dataDir ：日志内容

    clientPort：端口

  2. 搭建伪分布式节点（此处搭建三个节点）

  3. 复制config中的server文件并重命名 搭建几个节点复制几个 cp config/server.properties etc/server-0.properties

    server 文件用于配置kafkapok 的配置文件

  4. 进入etc目录，更改配置文件内容

    将 listeners=PLAINTEXT://:9092之前的注释去掉；

    log-dirs、broker.id 进行区分

    节点的端口不能一样

    必要配置项：broker.id、log-dirs、listeners（监听器）

    监听器：指定broker启动时本机的监听名称、端口

    😕/9092 默认协议：PLAINTEXT

    😕/192.168.1.10:9092 默认协议：SSL 前两种效果一致

    😕/hostname:9092 默认协议：SASL_PLAINTEXT

    😕/0.0.0.0:9092 默认协议：SASL_SSL 适用于多网卡的情况，监听所有的9092端口

    advertised.listeners:对外发布的访问IP和端口，注册到zookeeper中，给客户端使用。默认与监听器配置相同

启动伪分布式集群

启动命令在bin目录下 start命令 配置文件

  1. 使用start命令 zookeeper配置文件 启动zookeeper

    ./zookeeper-server-start.sh ../etc/zookeeper.properties

  2. 启动kafka实例

    ./kafka-server-start.sh ../etc/server-0.properties

创建主题

进入bin目录

可通过 ./kafka-topics.sh查看参数 描述中带有 REQUIRED的表示必带

常用参数备注
–create创建主题
–topic主题名
–describe主题描述
–list查看主题列表
–delete删除主题
–alter修改主题
–bootstrap-server必带（老版kafka必配置的是 --zookeeper）
–partitions分区数量
–replication-factor副本数

创建一个主题名为test1 分区数量为3 副本数为2的主题

./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test1 --partitions 3 --replication-factor 2

查看分区状态 ./kafka-topics.sh --bootstrap-server localhost:9092 --topic test1 --describe

消费者

./kafka-console-consumer.sh

0.11 版本之前消费者的消费位置放在zookeeper，之后的放在kafka的主题中消费

将消费者加入主题中 ./kafka-console-consumer.sh --bootstrap-server localhost:9092 localhost:9093 localhost:9094 --topic test1

如果想从头消费 加上 --frombegin 参数

生产者

./kafka-console-producer.sh --broker-list localhost:9092,localhost:9093,localhost:9094 --topic test1

进入消息发送窗口

消息从窗口发出后，消费者就可以接收到相应的信息了

滴滴答答滴滴答
关注
专栏目录
Linux环境下Kafka的安装和配置
DeoSql的博客
09-17 276
以上就是在Linux环境下安装和配置Kafka的详细步骤。通过按照上述步骤进行操作，你将能够成功安装和运行Kafka，并使用它来构建高性能的实时数据流应用程序。在本文中，我们将详细介绍如何在Linux环境下安装和配置Kafka。这将在当前目录下创建一个名为"kafka_2.13-2.8.0"的文件夹，其中包含Kafka的所有文件。消费者将开始接收来自"mytopic"主题的消息并将其打印到控制台上。Kafka将在后台运行，并监听配置文件中指定的地址和端口。这将创建一个具有一个分区和一个副本的主题。
linux下kafka从安装到使用 简单篇
Swing_yue的博客
03-11 296
进入kafka官网 下载kafka 这里下载Scala不要下载源码 https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.7.0/kafka_2.12-2.7.0.tgz 选择了最新2.7.0版本，下载好以后传到linux中 2.7.0依赖jdk1.8版本如果版本过低，要卸载掉系统中的java版本重新安装jdk1.8或以上版本。 将上传的kafka包解压到当前文件夹 tar zxvf kafka_2.12-2.7.0.tgz cd...
Linux下安装kafka和使用
最新发布
weixin_67349746的博客
09-16 559
下载Kafka稳定版本kafka_2.11-2.4.0.tgz，后面的2.4.0是Kafka自身的版本号，可以根据需求自行选择版本。首先要启动Zookeeper服务，执行以下命令，终端就会返回一堆东西并卡住，正在处于服务状态。不要关闭该窗口，不然服务就停止了。新开一个终端（第三个），切换到kafka下的bin目录，输入命令,发送消息hello。接着启动第二个终端，新开一个，启动Kafak服务，同理不要关闭窗口。新开一个终端（第四个），输入命令创建消费者，监控收到文本。如果上述都符合预期，则安装成功。
使用Linux部署Kafka教程
JackMa的博客
08-26 4416
e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.0.13:9092 把kafka的地址端口注册给zookeeper，如果是远程访问要改成外网IP,类如Java程序访问出现无法连接。-e KAFKA_ZOOKEEPER_CONNECT=172.16.0.13:2181/kafka 配置zookeeper管理kafka的路径172.16.0.13:2181/kafka。-v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间。
Kafka（二）CentOS7.5搭建Kafka2.11-1.1.0集群与简单测试
weixin_42073629的博客
10-03 487
一、下载 下载地址： http://kafka.apache.org/downloads.html 我这里下载的是Scala 2.11对应的kafka_2.11-1.1.0.tgz 二、kafka安装 集群规划 IP 节点名称 Kafka Zookeeper Jdk Scala 192.168.100.21 node21 Kafka Zookeeper Jdk Scala 192.168.100.22 node2...
Linux上安装Kafka和Kafka的使用
weixin_46303867的博客
03-31 1069
修改时间：2020年3月30日 作者：pp_x 邮箱：pp_x12138@163.com 文章目录Kafka集群搭建虚拟机中搭建 Kafka 集群准备工作Zookeeper 集群搭建安装Kafka上传 Kafka 安装包并解压修改kakfa核心配置文件将配置好的kafka分发到其他二台主机启动 Kafka 集群Dockers容器中安装kafka集群准备工作**安装 docker - compose**拉取镜像创建集群网络可能会出现的问题及解决方啊 Kafka集群搭建 ZooKeeper 作为给分布式系.
Linux系统中KafKa安装和使用方法 java客户端连接kafka
u013385018的专栏
05-31 9318
1 下载并安装kafka# tar zxvf kafka_2.12-1.1.0tgz  # mv kafka_2.12-1.1.0 /usr/local/kafka # cd /usr/local/kafka2 启动服务运行kafka需要使用Zookeeper，所以需要先启动一个Zookeeper服务器，如果没有Zookeeper，可以使用kafka自带打包和配置好的Zookeeper,&...
Linux下 kafka安装与配置详细教程（Centos）
qq_43312876的博客
10-18 1749
修改 /config目录下的 zookeeper.properties文件。修改 /config目录下的 server.properties文件。将下载好的kafka压缩包解压缩到 /usr/local目录下。参考 windows系统下kafka下安装及配置，操作相同。服务启动成功后就可以用demo测试消息发布/订阅的效果了。将解压后的文件名改成kafka。tar -zxvf 压缩包名。mv 文件名 修改后的文件名。进入kafka目录下。根据自身需要修改数值。进入kafka目录下。进入kafka目录下。
Linux系统安装和使用Kafka教程。
高性价比服务器就选：蓝易云
06-20 1147
这只是一个简单的演示，展示了如何在Linux系统上安装和使用Kafka。实际使用中，你可能需要更复杂的配置和进一步的学习，以满足你的特定需求。你可以参考Kafka官方文档和相关教程，以获取更详细的指南和更多高级配置选项。安装和使用Kafka是一个相对复杂的过程，涉及多个步骤和配置。
Linux Kafka安装与启动
松鼠教授的博客
03-15 1万+
kafka安装与配置 官网下载安装解压缩：http://kafka.apache.org/downloads 下载解压启动 启动命令：bin/kafka-server-start.sh -daemon config/server.properties server.properties配置中需要关注以下几个参数： broker.id=0 表示broker的编号，如果集群中有多个broker，则每个broker的编号需要设置 的不同 listeners=PLAINTEXT://:9092 brokd
linux环境kafka安装及配置
热门推荐
W_StackOverFlow_W的博客
10-20 1万+
linux环境kafka安装及配置过程（含zookeeper）
Linux下安装Kafka
NAMELI的博客
06-29 2836
zookeeper.connect：申明kafka所连接的zookeeper的地址，需配置为zookeeper的地址，由于本次使用的是kafka高版本中自带zookeeper，使用默认配置即可。添加开放端口：firewall-cmd --zone=public --add-port=80/tcp --premanent （–premanent永久生效，没有此参数，重启后失效）查看开放端口：firewall-cmd --list-port。重新载入规则：firewall-cmd --reload。
【Kafka】Linux下搭建kafka服务，完整学习案例
weixin_44823875的博客
12-23 1868
（1）概念（2）为什么要使用消息队列如果使用的是同步的通信方式来解决多个服务之间的通信，则要保证每一步的通信都要畅通，否则就会出错而如果使用异步的通信方式来解决多个服务之间的通信，就可以实现解耦。
Linux部署kafka（单节点与集群）
_Clear
09-15 1907
一、单节点无ZK部署（假设机器名为 node） 1、下载并解压 jdk、kafka，备份配置文件，配置并加载JAVA环境变量 wget -P ~ https://repo.huaweicloud.com/java/jdk/8u181-b13/jdk-8u181-linux-x64.tar.gz && \ wget -P ~ https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz &
超简洁步骤安装kafka（linux环境）
norma_chai的博客
06-20 2834
4、在zookeeper的conf目录下修改配置文件名（启动zookeeper的时候会去找zoo.cfg）4、在config目录下修改配置文件server.properties。2、通过rz命令将zookeeper安装包上传到linux。一、查看jdk是否安装（如果没有安装，可自行百度安装）5、在zookeeper的bin目录下启动zk。2、通过rz命令上传到linux服务器。3、在bin目录下启动kafka。4、在bin目录下创建topic。二、安装zookeeper。
Linux 搭建 Kafka 环境 - 详细教程
m0_56659620的博客
07-03 5579
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。
Linux 安装 kafka
qq_42923937的博客
03-04 4835
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
Linux服务器下kafka环境搭建
qq_29768197的博客
04-08 884
Linux服务器下kafka环境搭建
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值