大数据中间件之Kafka04(kafka的下载与安装)

最新推荐文章于 2022-03-05 20:13:25 发布
最新推荐文章于 2022-03-05 20:13:25 发布
阅读量140 收藏
点赞数
分类专栏： 大数据 文章标签： kafka zookeeper big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44219219/article/details/120778411
版权
本文档详细介绍了如何在本地搭建Kafka单机版，包括配置zookeeper.properties和server.properties，启动zookeeper和kafka服务，创建并管理topics，以及启动生产者和消费者进程。按照步骤操作，即可轻松完成Kafka的基础部署。
摘要由CSDN通过智能技术生成

Kafka单机版搭建

官网下载安装包进行解压即可

1.首先去修改config目录下的zookeeper.properties

其中dataDir是快照存放地址，clientPort是客户端连接zookeeper服务的端口。

2.修改config目录下的server.properties，修改log.dirs和zookeeper.connect。log.dirs是日志存放文件夹，zookeeper.connect是zookeeper连接地址（端口和clientPort保持一致）。
3.启动kafka自带的zookeeper
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
4.启动kafka
bin/kafka-server-start.sh -daemon config/server.properties
5.创建一个topic
bin/kafka-topics.sh --create --zookeeper ip地址:2181 --replication-factor 1 --partitions 1 --topic test
6.查看topic列表
bin/kafka-topics.sh -list -zookeeper localhost:2181
7.创建生产者进程 （9092是默认的broker-list端口）
bin/kafka-console-producer.sh --broker-list ip地址:9092 --topic test
8.创建消费者进程
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
之后就可以正常操作了
IT二叔
关注
专栏目录
Kafka入门(4) -- kafka基准测试
erainm
09-15 333
1. 基准测试 基准测试（benchmark testing）是一种测量和评估软件性能指标的活动。我们可以通过基准测试，了解到软件、硬件的性能水平。主要测试负载的执行时间、传输速度、吞吐量、资源占用率等。 1.1 基于1个分区1个副本的基准测试 测试步骤： 启动Kafka集群 创建一个1个分区1个副本的topic: benchmark 同时运行生产者、消费者基准测试程序 观察结果 1.1.1 创建topic bin/kafka-topics.sh --zookeeper node1:2181 --c
kafka测试方案
leveretz的博客
07-23 4089
1引言 数据中台因业务需要将要引入开源框架kafka。 本文主要内容为kafka接入数据中台的技术验证预案和实施建设预案。 2验证预案 2.1性能验证 验证kafka的高吞吐率，主要验证producer和consumer的发送和消费吞吐率。 使用kafka manager 监控。 发送量测试 测试环境设定：broker集群（3节点），topic（1个），partition（3节点*2），replication（3）。 1、在borker不变的情况下，producer数量变化..
自用kafka简单测试
05-08
kafka测试
kafka常用命令汇总
奥迪的博客
01-07 271
新建topic bin/kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 1 --partitions 1 --topic test-service 删除topic bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test-clinet 消费topic新方式 bin/kafka-console-consumer.sh --boot
kafka 测试
java_leaf的博客
05-07 369
kafka 测试 ./bin/kafka-server-start.sh -daemon config/server.properties ./bin/kafka-topics.sh --list --zookeeper localhost:2181 kafka启动（需要先启动zk）下面是查看主题 ./bin/kafka-topics.sh --list --zookeeper localhost:2181 ./bin/kafka-topics.sh --zookeeper local
Kafka 性能测试
qq_29342297的博客
03-09 732
Kafka 性能测试(基于Kafka 2.2.1版本) Producer 测试 1. 不同压缩算法对数据发送性能的影响 测试命令 3 broker , 2 replication , numRecords 500w , throughput 100w , recordSize 256byte bin/kafka-producer-perf-test.sh --producer-props bootstrap.servers=master:9092 compression.type=none --top
尚硅谷大数据技术之Kafka1
08-04
【尚硅谷大数据技术之Kafka1】章节主要介绍了Apache Kafka，这是一个分布式消息中间件，常用于大数据实时处理。Kafka采用发布/订阅模式，提供高效的数据传输能力。 1. **Kafka概述** - **定义**：Kafka是一个...
大数据技术之Kafka
05-06
在探讨“大数据技术之Kafka”这一主题时，我们不仅会深入分析Kafka的基本概念、架构原理及其在大数据处理中的应用，还会进一步讨论其与其他大数据技术的集成方式以及最佳实践案例。Kafka作为一款高性能的消息队列...
大数据技术之Kafka教程
04-28
### 大数据技术之Kafka教程 #### 第一章 Kafka概述 **1.1 定义** Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue）。它主要用于大数据实时处理领域，能够高效地处理大量实时数据流，提供可靠的...
大数据之Kafka
09-26
### 大数据之Kafka #### 一、Kafka简介 Kafka是由Apache软件基金会开发的一款开源流处理平台，主要用于构建实时数据管道以及基于流的数据处理应用。它以一种高吞吐量、低延迟的方式处理数据，适用于离线和在线的...
KAFKA测试
jhlceo的博客
04-23 127
kafka功能简单测试 启动zookeeper 启动zk命令： ./zhServer.sh start 启动akfka（注意server.properties的配置） 启动akfka命令：./kafka-server-start.sh /home/hadoop/app/kafka_2.11-0.9.0.0/config/server.properties 测试效果： ...
10分钟体验一把Kafka[测试用例]
一切有为法，如梦亦如幻，如露亦如电，应作如是观。
03-05 1302
将编写Java程序，将数字消息写入到Kafka中。 1.pom依赖 <dependencies> <!-- kafka客户端 --> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> .
kafka原理介绍以及简单测试
woliuqiangdong的博客
11-09 149
一、原理介绍 1. topic, partition和offset的关系： 每个topic可以划分多个partition, 同一个partition里包含的消息是不同的。每个消息在被添加到分区时，都会被分配一个 offset，它是消息在此分区中的唯一编号，Kafka 通过 offset 保证消息在分区内的顺序，offset 的顺序不跨分区，即 Kafka 只保证在同一个分区内的消息是有序的。 2. partition和replication-factor： (1) partition, 消息会通
java连接kafka测试
july_young的博客
08-15 1万+
①进入到kafka文件夹中修改配置文件：vim config/server.properties ②启动zookeeper： bin/zookeeper-server-start.sh config/zookeeper.properties 端口2181是ZooKeeper的默认端口，可以通过编辑文件config/zookeeper.properties 中的clientPor...
kafka性能测试
skymouse2002的专栏
04-16 627
版本0.10.1.1kafka  broker的JVM默认是使用1G的内存./bin/kafka-producer-perf-test.sh --topic test-pati3-rep2 --throughput 500000 --num-records 1500000 --record-size 1000 --producer.config config/producer.properties...
（八）kafka的性能测试
weixin_43930865的博客
06-13 1844
kafka的压力测试 压力测试都是针对整个集群的，如果想测试单节点的性能，可以创建topic指定分区都在同一节点进行测试 1：生产者压测 kafka-topics-perf-test.sh --topic test --num-records 100000 --record-size 1000 --throughput -1 --producer.config ../config/producer.properties --num-records:生产的条数 --record-size每条消息的大小，
kafka 安装测试
lepton126的专栏
10-16 379
下面是一个三节点kafka安装测试简要流程，环境中先期已经安装了zookeeper， kafka 1号节点 server.properties 内容 ############################# Server Basics ############################# broker.id=1 port=9092 hostname=192.168.104.71 #...
Kafka(二)：环境搭建&测试
热门推荐
yfk的专栏
12-18 5万+
参考：Kafka QuickStart 在一台机器上构建一个3个节点的kafka集群，并测试producer、consumer在正常情况下的行为，以及在lead broker/follow broker失效情况下的行为 1.下载并解压kafka 0.8.0 release $ mkdir kafka $ wget http://apache.dataguru.cn/kafka/0.
Windows下Kafka安装与部署详解
本篇文章详细介绍了在Windows环境下安装和部署Apache Kafka的消息中间件的全过程。首先，确保安装了Java运行环境，至少是JDK 1.8.0_20版本，以及Zookeeper 3.4.12版本。Kafka本身需要kafka_2.11-1.1.0的版本。 安装...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT二叔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值