搭建前端监控系统（五）Nodejs + RabbitMq 搭建消息队列，处理高并发问题

　　背景：市面上的监控系统有很多，大多收费，对于小型前端项目来说，必然是痛点。另一点主要原因是，功能虽然通用，却未必能够满足我们自己的需求, 所以我们自给自足也许是个不错的办法。

　　这是搭建前端监控系统的第五章，主要是介绍如何处理日志高并发上传的情况，跟着我一步步做，你也能搭建出一个属于自己的前端监控系统。

 

　　请移步线上： 前端监控系统

 

　　随着监控日志搜集的内容越来越多，终于，由于公司的一波推文，导致了日志的瞬间流量达到历史新高，以至于mysql无法处理如此多的连接，系统崩溃。 当然，作为日志上传的服务器，这个是必然会发生的情况，只是早晚的问题。 既然出现了并发问题，那么我们就着手来处理吧。日志上传如何缓解高并发的情况呢？我们分为三个小点来处理。

• 　　增加日志上传的时间间隔

　　正如我们所知，日志上传的时间间隔越长，用户在这个间隔内离开的几率就会越大，日志的漏传量就会增加，然后会导致日志的准确度降低。因为我们的探针是安插在浏览器内的，用户随时都有可能关掉，所以，理论上讲间隔越短越好，但这并不现实。所以这个需要在服务器的承受能力和日志的准确率之间做个权衡。由具体情况而定

• 　　移除探针代码里冗余的参数，缩短参数名字的长度 

　　另外一点，每台服务器的硬盘有限，带宽有限，如果参数名字太长，参数内容冗余，对服务器的硬盘和带宽都是一种极大的浪费。虽然每条日志都不起眼，但是日志起量了以后，就是会是一笔非常庞大的开销。

• 　　Nodejs + RabbitMq 搭建消息队列，缓解瞬间并发量　　

　　对于一个前端来说，要把消息队列搭建起来还确实费了一番周折。 

　　1）  ubantu16 安装RabbitMQ服务软件包，很多教程都要求安装erlang, 但是更新apt以后，直接执行安装命令，会自动安装erlang的核心组件的。（erlang始终无法成功安装，真心累。）

$ apt-get update
$ apt-get install rabbitmq-server

　　正常情况下是直接成功的，直接访问ip端口号就可以打开了 http://IP:15672, 如下图：

　　2）现在我们需要一个有效的登录名和密码，执行如下命令

$ rabbitmqctl add_user username password  // 设置用户名密码
$ rabbitmqctl set_user_tags username administrator  // 设置为管理员身份
$ rabbitmqctl set_permissions -p / username ".*" ".*" ".*"  //为用户设置读写等权限 

　　OK, 现在我们登录进来就是这样的界面，如此消息队列服务我们算是搭建完成了。

　　3）消息服务启动了，那么如何存消息，如何取消息呢？如下图所示：

　　

　　我能够接触到的关于消息队列的应用场景实在有限，所以不能介绍更复杂的内容，大致的思维逻辑如上图1：有消息进来，先存入消息队列里，另一端再从队列去取出来，完成接下来的工作。从代码的角度来看如上图2：就是一个生产者和消费者的模式，生产者不停的向消息队列里生产消息，消费者在有需要的时候，从消息队列里取消息， 一旦完成消费，队列里便移除这个消息。消息的生产者和消费者互相没有感知，生产者产生过剩的消息都存放在消息队列里，由消费者慢慢消耗。以此来削峰填谷，达到处理高并发的目的。当然这都是我的浅显理解，但是也足以满足目前日志上传的需求了。

　　OK、理论说完了，具体如何实现呢？

　　

let amqp = require('amqplib');

module.exports = class RabbitMQ {
  constructor() {
    this.hosts = ["amqp://localhost"]; 
    this.index = 0;
    this.length = this.hosts.length;
    this.open = amqp.connect(this.hosts[this.index]);
  }
　// 消息生产者
  sendQueueMsg(queueName, msg, errCallBack) {
    let self = this;
    self.open
      .then(function (conn) {
        return conn.createChannel();
      })
      .then(function (channel) {
        return channel.assertQueue(queueName).then(function (ok) {
          return channel.sendToQueue(queueName, new Buffer.from(msg), {
            persistent: true
          });
        })
          .then(function (data) {
            if (data) {
              errCallBack && errCallBack("success");
              channel.close();
            }
          })
          .catch(function () {
            setTimeout(() => {
              if (channel) {
                channel.close();
              }
            }, 500)
          });
      })
      .catch(function () {
　　　　　　// 这里尝试备用连接，我就一个，所以就处理了
      });
  }
　
  // 消息消费者
  receiveQueueMsg(queueName, receiveCallBack, errCallBack) {
    let self = this;

    self.open.then(function (conn) {
        return conn.createChannel();
      }).then(function (channel) {
        return channel.assertQueue(queueName).then(function (ok) {
            return channel.consume(queueName, function (msg) {
              if (msg !== null) {
                let data = msg.content.toString();
                channel.ack(msg);
                receiveCallBack && receiveCallBack(data);
              }
            }).finally(function () { });
          })
      })
      .catch(function (e) {
        errCallBack(e)
      });
  }
}

 

消息队列测试：每隔5秒发送一条消息，每隔5秒取出一条消息，成功

var mq = new RabbitMQ()
setInterval(function () {
  mq.sendQueueMsg("queue1", "这是一个队列消息", function (err) {
    console.log(err)
  })
}, 5000)

setInterval(function () {
  mq.receiveQueueMsg("queue1", function (msg) {
    console.log(msg)
  }, function (error) {
    console.log(error)
  })
}, 5000)

 

RabbitMq消息队列使用中遇到的坑：

①   var mq = new RabbitMQ() 多次创建RabbitMQ对象，导致connections, channels, memory 暴增，服务器很快挂掉

②  生产者的channel忘记close, 导致channel太多，服务器超负荷

③   消费者的channel被close掉了，永远只能接收到一条消息，消息队列很快爆掉

最后是消息队列运行的状态：

 

OK、经过了这么一番处理，我们的日志上传应该能够承受住一定量的并发了，让我们拭目以待吧。

 

上一章：搭建前端监控系统（四）接口请求异常监控篇

 

参考： 架构设计之NodeJS操作消息队列RabbitMQ  Ubuntu上安装和使用RabbitMQ

转载于:https://www.cnblogs.com/warm-stranger/p/11000996.html