使用nodejs对kafka、zookeeper数据进行消费consumer

本文介绍了如何使用NodeJS的kafka-node库创建消费者,处理Kafka实时数据并减小DB或Redis压力。通过异步编程实现高并发,但单进程限制了CPU使用率。示例代码展示了连接Zookeeper、设置offset和处理接收到的消息。文中还提到了offset和partition概念,以及遇到的问题与解决方案。
摘要由CSDN通过智能技术生成
另有另一片作为producer生产者的文章:
传送门:http://blog.csdn.net/xiedong9857/article/details/55506910

之前几个月由于公司业务需求,搭建了几个nodejs的服务,对kafka的实时数据进行处理,同时根据一定规则延缓入库或者写入redis,以此减小DB或者是redis的压力。
使用node来做有几个好处,在于node的异步编程容易实现高并发处理,但是单进程的node也决定了其cpu使用率不高,无法承载太大的集中运算量。另外如果上层架设负载均衡,也容易出现内存不共享的问题,但是在某些业务场景,例如流水实时统计等方面,node对于kafka数据的处理还是相对合适的。
话不多说,这里贴代码:
/**
 * Created by LongMao on 2016/11/9.
 */
'use strict';
var ServiceRouter = require('../service-router/serviceRouter.js');
var toKafka = function () {
    var kafka = require('kafka-node');
    var Consumer = kafka.Consumer;
    //var client = new kafka.Client('10.251.5.166:12181,10.171.27.37:12181,10.170.177.146:12181');
    var client = new kafka.
  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值