Egg.js 使用 Kafka

是个小胖墩儿啊

已于 2023-06-13 16:04:44 修改

阅读量458

点赞数

分类专栏： Kafka 文章标签： kafka

于 2023-06-13 16:02:33 首次发布

本文链接：https://blog.csdn.net/qq_43665821/article/details/131190026

版权

Kafka 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

本文介绍了如何安装kafka-node库，并在Node.js应用中配置Kafka客户端。通过创建kafka.js配置文件设定生产者和消费者的参数，然后在app.js中建立与Kafka的连接，创建生产者发送消息到主题my-topic，以及消费者订阅并处理my-topic的消息。

摘要由CSDN通过智能技术生成

安装 kafka-node：

yarn add kafka-node

在 config 目录下创建 kafka.js 配置文件：

...
config.kafka = {
  // kafka 配置
  client: {
    kafkaHost: '${ip}:9092'
  },

  // producer 配置
  producer: {
    // 1=leader确认, 2=所有ISR副本确认, -1或0=all确认
    requireAcks: 1,
  },

  // consumer 配置
  consumer: {
    autoCommit: true,
    groupId: 'egg-kafka-group',
    // 从最新的消息开始消费, 如果设置为earliest则表示从最早的消息开始消费
    fromOffset: 'latest'
  }
};
...

在 app.js 文件中连接 Kafka 并创建生产者 or 消费者：

import { Application } from 'egg';
import * as kafka from 'kafka-node';

export default class AppBootHook {
  app: Application;
  logPrefix: string;

  constructor(app: Application) {
    this.app = app;
  }

  /**
   * worker准备就绪
   */
  async didReady() {
    const { app } = this;

    // 请将您的app.ready中的代码置于此处
    app.coreLogger.info(`${this.logPrefix} worker(${process.pid}) is ready`);

    /**
     * 生产者
     * 
     * 使用KafkaClient连接Kafka集群, 并创建生产者Producer
     * 当生产者准备好时, 发送一条消息到主题my-topic中
     */
    const { KafkaClient, Producer } = kafka;
    // 使用上面的配置
    const client = new KafkaClient(app.config.kafka.client);

    const producer = new Producer(client, app.config.kafka.producer);

    producer.on('ready', () => {
      // 当连接成功时发送消息
      const message = 'hello kafka';
      producer.send([{topic: 'my-topic', messages: [message]}], (err, data) => {
        console.log(err, data);
      });
    });

    producer.on('error', err => {
      console.error(err);
    });

    /**
     * 消费者
     * 
     * 使用Consumer订阅主题my-topic的分区0
     * 当消费者接收到一条消息时, 会输出消息内容
     * 如果发生错误, 则会输出错误信息
     */
    // const { KafkaClient, Consumer } = kafka;
    // // 使用config/kafka.js中的配置
    // const client = new KafkaClient(app.config.kafka.client);

    // const consumer = new Consumer(
    //   client,
    // // 订阅主题和分区
    //   [{ topic: 'my-topic', partition: 0 }],
    // // 使用config/kafka.js中的配置
    //   app.config.kafka.consumer
    // );

    // consumer.on('message', message => {
    //   console.log(message);
    // });

    // consumer.on('error', err => {
    //   console.error(err);
    // });
  }

}