node与kafka结合

centos7安装kafka

参考文章:https://www.cnblogs.com/yangk1996/p/10841588.html

安装注意事项(以阿里云服务器为例)

  1. 在配置config下面的server.properties文件,增加ip映射,如果不增加就是locahost。这样没办法使用java连接host.name=192.168.100.129,这句话去掉,改成如下内容:
  2. advertised.listeners=PLAINTEXT://你的网址:9092,这里我用的是外网ip,代码如下:
#advertised.listeners=PLAINTEXT://your.host.name:9092
advertised.listeners=PLAINTEXT://IP:9092
  1. 将2181,9092设置在安全组里面
    在这里插入图片描述
  2. 剩下的就按照参考文章启动服务即可

node 代码

从代码我们可以看到 生产者每两秒生产一条数据
具体操作流程:
1.安装请参考其他文章
2.启动zk 启动kofka
3.安装第三方模块依赖 npm install kafka-node
producer.js

/**
 * 生产者
 */

const kafka = require('kafka-node');

let conn = {'kafkaHost':'ip:9092'};

var MQ = function (){
    this.mq_producers = {};
}

MQ.prototype.AddProducer = function (conn, handler){
    console.log('增加生产者',conn, this);
    let client = new kafka.KafkaClient(conn);
    /**
     * Producer(client, [options])
     * client: 和kafka服务保持连接的client对象
     * options:producer的属性
     */
    let producer = new kafka.Producer(client);

    producer.on('ready', function(){
        if(!!handler){
            handler(producer);
        }
    });

    producer.on('error', function(err){
        console.error('producer error ',err.stack);
    });

    this.mq_producers['common'] = producer;
    return producer;
}
console.log(MQ);
var mq = new MQ();

mq.AddProducer(conn, function (producer){
    producer.createTopics(['broadcast'], function (){
        setInterval(function(){
            mq.mq_producers['common'].send([{topic:['broadcast'],
                messages:[JSON.stringify({"cmd":"testRpc","value":"Hello World"})]}], function (){
                console.log("..... ");
            })
        }, 2000);
    })
});

consumer.js

/**
 * 消费者
 */

const kafka = require('kafka-node');

let conn = {'kafkaHost':'ip:9092'};
let consumers = [
    {
        'type': 'consumer',
        'options': {'autoCommit': true},
        'name':'common',
        'topic':[
            {'topic': 'broadcast', 'partition': 0}
        ]
    }
];

let MQ = function(){

}

MQ.prototype.AddConsumer = function (conn, topics, options, handler){
    let client = new kafka.KafkaClient(conn);
    let consumer = new kafka.Consumer(client, topics, options);

    if(!!handler){
        consumer.on('message', handler);
    }

    consumer.on('error', function(err){
        console.error('consumer error ',err.stack);
    });
}

var mq = new MQ();


mq.AddConsumer(conn, consumers[0].topic, consumers[0].options, function (message){
    console.log(message.value);
});

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值