在nodejs中简单使用kafka

最新推荐文章于 2024-09-07 09:30:37 发布

’千万‘之一

最新推荐文章于 2024-09-07 09:30:37 发布

阅读量2.3k

点赞数

分类专栏： node.js+mongodb 文章标签： kafka node.js

本文链接：https://blog.csdn.net/qq_40188459/article/details/127636539

版权

本文档介绍了如何在本地简单搭建 Kafka，并在 Node.js 中使用 Kafka-node 库创建生产者和消费者。首先，通过下载 Kafka 压缩包，解压并配置 zookeeper.properties 和 server.properties 文件，接着启动 Zookeeper 和 Kafka 服务，创建 test 主题。然后，在 Node.js 中安装 kafka-node，建立生产者发送消息，创建消费者接收消息，实现通信测试。

摘要由CSDN通过智能技术生成

一、本地简单搭建kafka

1.1官网下载压缩包并解压

网址：添加链接描述
我这里下载的2.8.1版本
在这里插入图片描述

然后解压到指定文件夹，并创建两个文件夹以后使用
在这里插入图片描述

1.2修改配置文件

1.config下的zookeeper.properties，修改为刚才创建data的真实路径

在这里插入图片描述

2.config下的server.properties，修改为刚才创建kafka-log的真实路径

在这里插入图片描述

1.3启动

1.启动zookeeper

到解压文件夹下执行：不要关闭窗口

.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

2.启动kafka

到解压文件夹下执行：不要关闭窗口

.\bin\windows\kafka-server-start.bat .\config\server.properties

3.创建一个为test的topic

不要关闭窗口

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 -

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

’千万‘之一

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

NodeJS 发送Kafka消息

bai___DDD的博客

08-10

1655

我当前使用的测试框架是 Cucumber + Nodejs +WebdriverIO，所以文章主要介绍，这种情形下具体怎么使用。项目结构： data下面是kafka消息的具体内容，就是测试数据 env是测试环境信息 feature folder下面是测试文件 specs下面是编写cucumber可是别的语言并且调用kafka的消息 kafka.js是发送具体消息的代码 package.json里面添加依赖的jar版本,我这里使用的是kafkajs 第一步：准备测试数据（这里包含SSl和.

启动kafka

Itissohardtog的博客

11-15

532

启动zookeeper 在doc命令中 E:\store\kafka_2.12-2.3.1>.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties 启动kafka 在doc命令中 E:\store\kafka_2.12-2.3.1>.\bin\windows\kafka-server-start.b...

1 条评论您还未登录，请先登录后发表或查看评论

KafkaJS 使用指南

最新发布

gitblog_01052的博客

09-07

314

KafkaJS 使用指南项目地址:https://gitcode.com/gh_mirrors/ka/kafkajs 一、项目目录结构及介绍 KafkaJS 是一个专为 Node.js 设计的现代 Apache Kafka 客户端。此项目在 GitHub 上的地址是 https://github.com/tulios/kafkajs。下面是其典型目录结构概述： . ├── LICENSE.txt...

Kafka启动停止脚本

qq_43989788的博客

02-28

1429

#!/bin/bash case $1 in "start") for i in hadoop102 hadoop103 hadoop104 do echo "---启动 $i kafka---" ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties" done ;; "stop") for.

nodejs使用kafka

ArmadaDK的博客

09-11

1040

topic：Topic（主题）是消息的逻辑分类或者容器。它是 Kafka 中最基本的概念之一，用于组织和管理消息的发布和订阅。我的理解是一个topic就是一个消息队列，为了让各种不同的消息不打岔，才分出不同的topic。

NodeJS操作Kafka

qq_37647812的博客

05-20

795

通过在命令行中输入java -version确认java是否成功安装(可能需要查看windows的环境变量中是否有java)。说明一下zookeeper和kafka的关系:zookeeper是集群的调度者，kafka才是消息队列。原文链接 https://www.cnblogs.com/Andy1982/p/15211652.html。本文将会介绍在windows环境下启动Kafka，并通过nodejs作为客户端，生产并消费消息。在生产者窗口，随意输入一条消息，可以在消费者窗口看到该消息。

kafka-nodejs:NodeJS 和 Kafka 使用 kafka-node

06-10

#集成NODEJS和Kafka ＃＃＃目录步骤 1 - 将以下脚本复制到名为producer_nodejs.js的文件中。第 2 步 - 启动kafka集群，就像我们在Installation of Kafka... 步骤 1 - 使用以下脚本创建一个名为json_nodejs_kafka.

kafka-nodejs-example：使用Kafka和NodeJS中的生产者和消费者的展示

02-05

在此示例中，我们将Kafka用作消息传递系统，以将假设的销售量插入数据库中。它不是将我们的销售端点直接打入数据库，而是将销售数据推送到Kafka，从而充当“生产者”。我们启动了一个“消费者”，它将从Kafka中...

NodeJS操作Kafka（已验证）

08-24

在本文中，我们将深入探讨如何使用NodeJS与Apache Kafka进行交互。Kafka是一个分布式流处理平台，常用于构建实时数据管道和流应用。而NodeJS是JavaScript的服务器端实现，可以方便地创建高性能网络应用。结合这两者...

kafka-demo:使用NodeJS设置Kafka的示例代码

04-10

在 Node.js 中使用 Kafka 可以帮助开发者利用其灵活性和高并发性来处理 Kafka 的实时数据流。 **Kafka 客户端库** 在 Node.js 中，我们可以使用各种客户端库来连接和操作 Kafka，如 `node-rdkafka`、`kafka-node` ...

nodejs--kafka

weixin_42282999的博客

11-18

1494

producer.js var kafka = require('kafka-node'); var Producer = kafka.Producer; // 建立与kafka的连接 var client = new kafka.KafkaClient('localhost:9092'); // 创建生产者 var producer = new Producer(client); // topic var topic = 'test'; var payloads = [{ // 需要发送的一些配置

KAFKA启停命令

在路上

12-23

513

cd /home/storm/kafka_2.11-1.0.0 --kafka安装路径查看当前在运行topic： bin/kafka-topics.sh --list --zookeeper 172.16.12.19:2181 172.16.12.19:2181 172.16.12.21:2181 172.16.12.22:2181 创建topic： bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test..

Nodejs 第七十八章（Kafla）

2402_85402030的博客

06-11

1093

Kafka 的主要设计目标是提供一个可持久化的、高吞吐量的、容错的消息传递系统。Kafka 的设计还强调了分布式的特性，使得它可以在大规模集群中运行，处理大量数据和高并发的请求。新版安装成功后无需配置环境变量自己就配好了，旧版本则需手动配置一下如同rabbiteMQ 那一章节一样。注意点需要在环境变量配置 JAVA_HOME 因为zookeeper 要读取这个环境变量这个是必须的。安装JDK 因为Kafka用了java编写。因为Kafka也用到了ZooKeeper。安装ZooKeeper。

Nodejs之Kafka篇

热门推荐

我的博客

06-07

1万+

关键代码片段： var kafka = require('kafka-node'); var Mock = require('mockjs'); var Producer = kafka.Producer, client = new kafka.KafkaClient(), producer = new Producer(client); producer.on('ready'...

简单实现，在nodejs中简单使用kafka

北京土豆(qqxinxi) 的专栏

11-13

2628

Kafka 是由Linkedin公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。

Kafka的启动与关闭

m0_61548416的博客

09-20

521

Kafka的启动与关闭

Kafka学习（一）——Kafka启动和关闭命令

释梦燃的博客

04-25

6591

Kafka启动命令注：先进入kafka目录 1）常规模式启动kafka bin/kafka-server-start.sh config/server.properties 2）进程守护模式启动kafka nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 & K...

nodejs kafka-node 消费消息，生产消息

专注于Python编程技术的分享与交流，致力于帮助开发者提升编程技能，解决实际问题，探索Python的无限可能。

11-26

1646

npm i kafka-node 接收消息 // 一旦提供topic立刻开始fetch消息 const kafka = require('kafka-node') const client = new kafka.KafkaClient({ kafkaHost: '192.168.133.128:9092' }); const consumer = new kafka.Consumer(client, [ { topic: 'test', partition: 0 } ]);

kafka 启停脚本

m0_61237221的博客

04-06

1227

#!/bin/bash zkPort=2181 kaPort=9092 kaFile='/usr/local/kafka/config/server.properties' zkFile='/usr/local/kafka/config/zookeeper.properties' logsDir='/data/logs' blue() { echo -e "\033[34m $1 \033[0m" && sleep 1 } red() { echo -e "\033[31m .

nodejs kafka

06-10

Node.js Kafka是一个基于Node.js的Kafka客户端，它提供了一组API来在Node.js应用程序中使用Apache Kafka。Kafka是一种高吞吐量的分布式消息系统，它被广泛用于构建实时数据管道和流式处理应用程序。Node.js Kafka客户端可以让开发人员轻松地在Node.js应用程序中使用Kafka并实现流式处理。 Node.js Kafka客户端提供了一些重要的功能，包括： 1. 生产者API：可以使用Node.js Kafka客户端将消息发送到Kafka集群中的主题。 2. 消费者API：可以使用Node.js Kafka客户端从Kafka主题中消费消息。 3. 流处理API：可以使用Node.js Kafka客户端在流式处理应用程序中使用Kafka。 Node.js Kafka客户端的使用非常灵活，可以与其他Node.js库和框架一起使用，例如Express框架、Socket.IO库等。