kafka安装测试

最新推荐文章于 2024-05-29 18:11:26 发布
最新推荐文章于 2024-05-29 18:11:26 发布
阅读量110 收藏
点赞数
分类专栏： 消息队列 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41673830/article/details/116693910
版权

linux安装kafka

Zookeeper（单机）安装

  1. 下载
wget -P /opt/ https://mirrors.huaweicloud.com/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
  1. 解压
tar -zxvf zookeeper-3.4.10.tar.gz
  1. 重命名
mv zookeeper-3.4.10 zookeeper
  1. 修改zoo.cfg
    复制文件
cp /opt/zookeeper/conf/zoo_sample.cfg   /opt/zookeeper/conf/zoo.cfg
  1. 修改zoo.cfg
vim /opt/zookeeper/conf/zoo.cfg
  1. 输入以下内容
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/datalog
clientPort=2181
server.1=localhost:2888:3888

创建myid文件

创建文件夹

mkdir -p /opt/zookeeper/data

创建myid文件，并将其内容改为1

echo 1 >/opt/zookeeper/data/myid

配置环境变量

vim /etc/profile

加入下面内容

export ZOOKEEPER_HOME=/opt/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

然后

source /etc/profile

Kafka(单机安装)

下载

wget -P /opt/ https://mirrors.huaweicloud.com/apache/kafka/2.1.1/kafka_2.11-2.1.1.tgz

解压

tar -zxvf kafka_2.11-2.1.1.tgz

重命名

mv kafka_2.11-2.1.1 kafka

修改server.properties

vim /opt/kafka/config/server.properties

输入以下内容

broker.id=0
port=9092
host.name=localhost
log.dirs=/opt/kafka/log
zookeeper.connect=localhost:2181
offsets.topic.replication.factor=1

配置环境变量

vim /etc/profile

加入下面内容

export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin

然后

source /etc/profile

启动Kafka
先启动Zookeeper

zkServer.sh start

查看状态

zkServer.sh status

启动成功
在这里插入图片描述
再启动Kafka

/opt/kafka/bin/kafka-server-start.sh  /opt/kafka/config/server.properties

在这里插入图片描述
启动脚本(在Zoopeeker和Kafka都关闭下使用启动脚本)
创建文件

vim /opt/kafka/bin/start-kafka.sh

添加下面内容

#!/bin/bash
#启动zookeeper
/opt/zoopeeker/bin/zkServer.sh start
sleep 3
#默默等3秒后执行 
#启动kafka
/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties

给文件执行权限

chmod 777 /opt/kafka/bin/start-kafka.sh

启动

start-kafka.sh

启动成功如下图
在这里插入图片描述
Kafka指令
创建名为first分区为2，副本数为1，的topic

kafka-topics.sh --create -zookeeper localhost:2181 --topic first --partitions 2 --replication-factor 1

查看所有的topic

kafka-topics.sh --list -zookeeper localhost:2181

在这里插入图片描述

删除名为first的topic

kafka-topics.sh --delete -zookeeper localhost:2181 --topic first

在这里插入图片描述

查看名为first的topic

kafka-topics.sh --describe -zookeeper localhost:2181 --topic first

在这里插入图片描述

发送消息
在这里插入图片描述

kafka-console-producer.sh --broker-list localhost:9092 --topic first

消费消息

kafka-console-consumer.sh --topic first --bootstrap-server localhost:9092 --from-beginning

在这里插入图片描述

夏天秃头之路
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka框架学习笔记 尚硅谷
weixin_43691773的博客
11-11 2399
Kafka框架学习笔记 尚硅谷 因为本人不是大数据方向的 但是公司一个项目用到了kafka 我就学习一下 如果笔记有什么不对的地方 敬请谅解 文章目录Kafka框架学习笔记 尚硅谷因为本人不是大数据方向的 但是公司一个项目用到了kafka 我就学习一下 如果笔记有什么不对的地方 敬请谅解Kafka概述定义传统消息队列的应用场景使用消息队列的好处消息队列的Kafka基础框架构Kafka快速入门安装操作命令命令行控制台生产者消费者测试数据日志分离Kafka高级工作流程文件存储机制Kafka生产者分区策略生产
Kafka的安装和简单实例测试
a925907195的专栏
07-31 1476
Kafka的安装和简单实例测试  阮榕城 2016年11月20日 (updated: 2016年11月21日) 2129 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。下面介绍有关Kafka的简单安装和使用,想全面了解Kafk
kafka单机安装及性能测试
最新发布
codelearning的专栏
05-29 1335
Apache Kafka是一个分布式流处理平台，最初由LinkedIn开发，并于2011年开源，随后成为Apache项目。Kafka的核心概念包括发布-订阅消息系统、持久化日志和流处理平台。它主要用于构建实时数据管道和流处理应用，广泛应用于日志聚合、数据传输、实时监控和分析等场景。Kafka具有高吞吐量、低延迟、扩展性强和容错性高等特点。
kafka安装和测试
ChanYee的博客
03-01 857
1.下载：http://kafka.apache.org/downloads 2.解压 tar zxvf kafka_2.12-1.0.0.tgz mv kafka_2.12-1.0.0 kafka //重命名为kafka 3.修改配置 进入kafka/config目录 vim server.properties 由于我的zookeeper在另外一台服务器上所以，只需改动 zooke...
kafka 安装测试
lepton126的专栏
10-16 374
下面是一个三节点kafka安装测试简要流程，环境中先期已经安装了zookeeper， kafka 1号节点 server.properties 内容 ############################# Server Basics ############################# broker.id=1 port=9092 hostname=192.168.104.71 #...
Kafka安装配置测试
liuxiangke0210的专栏
05-08 447
原文链接：http://lxw1234.com/archives/2015/09/510.htm Kafka的整体架构： 本文中的配置： 在两台机器Node1和Node2上，分别部署了两个broker，Zookeeper使用的是单独的ZK集群。 在每个机器上下载并解压kafka_2.10-0.8.2.1 http://kafka.apach
kafka及其性能测试
01-22
本知识点将详细阐述Kafka的核心概念、使用场景以及性能测试方法。 首先，Kafka的核心概念包括生产者（Producer）、消费者（Consumer）、主题（Topic）、代理（Broker）、分区（Partition）、偏移量（Offset）、副本...
向kafka插入数据测试
07-12
这个场景中，我们关注的是“向Kafka插入数据”的测试。这涉及到多个知识点，包括Kafka的基本概念、生产者API、数据模型、以及如何进行测试。 1. **Kafka基本概念**：Kafka是一个高吞吐量、低延迟的消息队列系统，它...
Kafka性能测试实例1
08-03
Kafka性能测试实例1 Kafka作为一个分布式流媒体平台，需要在高数据量和高并发情况下保证其性能和稳定性。为了提高Kafka集群的性能和稳定性，需要从生产者和消费者两方面进行性能测试。本文将从生产者和消费者两方...
kafka测试推送实例
06-13
1. **环境准备**：首先，确保已经安装了Kafka服务器，以及对应的生产者和消费者SDK，例如Java、Python或.NET等。 2. **创建主题**：在Kafka集群上创建一个测试主题，比如`test_topic`。可以通过命令行工具`kafka-...
kafka集群安装以及测试
07-04
利用安装zookeeper的三台服务器搭建KAFKA集群，并对其进行验证测试
kafka 安装和测试
12-27 304
http://czj4451.iteye.com/blog/2041096
kafka安装及测试
Smile936的博客
04-17 342
忘记在哪里看到的但是感觉解释的很好。 zookeeper 协调转发 producers通过网络将消息发送到Kafka集群，集群向消费者提供消息kafka对消息进行归纳，即topic，也就是说producer发布topic,consumer订阅topic 消息的发布（publish）称作producer，消息的订阅（subscribe）称作consumer，中间的存储阵列称作brok
Kafka的安装及测试
yangcongyangling的博客
05-10 4081
1、zokeeper的安装及配置 在zokeeper的conf目录下新建zoo.cfg文件，在里面配置如下内容 # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # T
Kafka安装及测试
Bee_Darker的博客
06-06 281
任务目标 1.了解Kafka的各个组件的功能 2.掌握Kafka的安装部署 3.培养独立进行Kafka安装的能力
Kafka安装部署与测试
zhanghw的博客
07-16 511
Kafka安装部署与测试1.软件配置1.1软件下载1.2配置文件修改log、data存储路径2.程序启动2.1启动zookeeper2.2启动kafka服务3.创建topic测试主题kafka4.创建生产者产生消息5.创建消费者接收消息 1.软件配置 1.1软件下载 http://kafka.apache.org/downloads.html 1.2配置文件修改log、data存储路径 2.程序启动 2.1启动zookeeper .\bin\windows\zookeeper-server-star
【Kafka】安装测试
AXDLMG7的CSDN~
10-25 935
知识点 Kafka基本架构的介绍： Broker Kafka集群包含一个或多个服务器，这种服务器被称为broker Topic 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上，但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处） Partition Partition是物理上的概念，每个Topic包含一个或多个Partition. Producer 负责发布消息到K
kafka安装并测试
一去二三里...的博客
03-27 1140
每条消息调用一次该回调函数，说明消息是传递成功(rkmessage->err == RD_KAFKA_RESP_ERR_NO_ERROR)= RD_KAFKA_RESP_ERR_NO_ERROR)设置发送报告回调函数，rd_kafka_produce()接收的每条消息都会调用一次该回调函数。发送报告回调函数(和其他注册过的回调函数)期间，要确保rd_kafka_poll()rd_kafka_flush是rd_kafka_poll()的抽象化，第二个参数是最大阻塞时间，如果设为0，将会是非阻塞的调用。
linux安装kafka及测试
08-23
要在Linux上安装Kafka并进行测试，您可以按照以下步骤进行操作： 1. 首先，确保您的Linux系统已经安装了Java。您可以在终端中运行以下命令来检查Java的安装情况： ``` java -version ``` 如果您没有安装Java，请根据您的Linux发行版进行安装。 2. 下载Kafka。您可以通过访问Kafka的官方网站（https://kafka.apache.org/downloads）来下载最新版本的Kafka。选择合适的二进制文件下载链接。 3. 解压下载的Kafka压缩文件。您可以使用以下命令将其解压到所需的目录中（例如/opt目录）： ``` tar -xzf kafka_<version>.tgz -C /opt ``` 4. 进入Kafka目录： ``` cd /opt/kafka_<version> ``` 5. 启动Zookeeper服务。Kafka依赖于Zookeeper来管理集群状态。您可以在启动之前编辑`config/zookeeper.properties`文件以进行必要的配置更改。然后，运行以下命令启动Zookeeper服务： ``` bin/zookeeper-server-start.sh config/zookeeper.properties ``` 6. 启动Kafka服务。在另一个终端窗口中，运行以下命令启动Kafka服务器： ``` bin/kafka-server-start.sh config/server.properties ``` 7. 创建一个主题。您可以使用以下命令创建一个名为`test`的主题： ``` bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1 ``` 8. 发布和消费消息。在同一个终端窗口中，使用以下命令发布一些消息： ``` bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092 ``` 在另一个终端窗口中，使用以下命令消费消息： ``` bin/kafka-console-consumer.sh --topic test --bootstrap-server localhost:9092 --from-beginning ``` 这样，您就可以在Kafka中发布和消费消息了。 请注意，以上步骤假设您已经在单个节点上安装并运行Kafka。如果您希望在多个节点上设置Kafka集群，还需要进行其他配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值