golang-使用nsq消息队列

一、介绍

NSQ是一个基于Go语言的分布式实时消息平台, 它具有分布式、去中心化的拓扑结构，支持无限水平扩展。无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征。另外，NSQ非常容易配置和部署, 且支持众多的消息协议。支持多种客户端，协议简单，但是nsq是无序的，就是消息的接受不一定根据发送的顺序，如果对顺序有要求的建议不要使用
官网地址

二、安装

本次我是采用docker-compose安装的具体编排nsq.yml文件如下：

version: '3'
    services:
      nsqlookupd:
        image: nsqio/nsq
        command: /nsqlookupd
        ports:
          - "4160:4160"
          - "4161:4161"
      nsqd:
        image: nsqio/nsq
        command: /nsqd --lookupd-tcp-address=nsqlookupd:4160
        depends_on:
          - nsqlookupd
        ports:
          - "4150:4150"
          - "4151:4151"
      nsqadmin:
        image: nsqio/nsq
        command: /nsqadmin --lookupd-http-address=nsqlookupd:4161
        depends_on:
          - nsqlookupd  
        ports:
          - "4171:4171"

构建好文件后直接运行

sudo docker-compose -f nsq.yml up -d

此时会启动三个容器 如下：

• compose_nsqd_1 ：则为 nsqd 服务主要作用负责接收、排队、转发消息到客户端的守护进程
• compose_nsqadmin_1 ： 一套Web用户界面，可实时查看集群的统计数据和执行相应的管理任务
• compose_nsqlookupd_1 ：管理拓扑信息, 用于收集nsqd上报的topic和channel,并提供最终一致性的发现服务的守护进程
  直接访问 compose_nsqadmin_1提供的web管理页面 http://127.0.0.1:4171/ 即可操作和查看nsq运行情况 如下
  

三、使用

我是采用的gin框架来实现nsq的消息推送和拉取。

1. 推送的代码

/service/nsq/producer.go

/*
@Time : 2020/8/9 上午12:08
@Author : xiukang
@File : producer
@Software: GoLand
*/
package nsq

import (
	"fmt"
	"ginweb/config"
	"ginweb/runtime"
	"github.com/nsqio/go-nsq"
	"time"
)

type producer struct {
	producer *nsq.Producer
}

var Producer producer

func init() {

	p, err := nsq.NewProducer(config.NsqHost, nsq.NewConfig())
	if err != nil {
		panic(err)
	}
	Producer.producer = p

}
func (p *producer) Publish(topic string, message string) (err error) {
	//defer p.producer.Stop()
	if message == "" {
		runtime.Info.Println("message is empty")
		return nil
	}
	if err = p.producer.Publish(topic, []byte(message)); err != nil {
		fmt.Println(err)
		return err
	}
	return nil
}

// 延迟消息
func (p *producer) DeferredPublish(topic string, delay time.Duration, message string) (err error) {
	if message == "" {
		runtime.Info.Println("message is empty")
		return nil
	}
	if err = p.producer.DeferredPublish(topic, delay, []byte(message)); err != nil {
		fmt.Println(err)
		return err
	}
	return nil
}

func PushMessage() {
	producer := Producer
	producer.Publish("test", "12121")
}

然后再main里调用PushMessage方法
然后运行 go run main.go 就可以看到效果相应的Topics 里的msgs数量会一直增加，这里有个坑就是 在开启nsq服务的时候有两个端口 4150,4151 如果其中一个连不上的话，换一个连接就好了。

2. 消费代码

消息的消费需要一直进行这里使用一协程等待消息。代码如下 /service/nsq/consumer.go

/*
@Time : 2020/8/9 上午12:09
@Author : xiukang
@File : consumer
@Software: GoLand
*/
package nsq

import (
	"encoding/json"
	"fmt"
	config2 "ginweb/config"
	"github.com/nsqio/go-nsq"
)

type MyTestHandler struct {
	q              *nsq.Consumer
	messageReceive int
}

func (h *MyTestHandler) HandleMessage(message *nsq.Message) error {
	type Data struct {
	}

	var (
		data *Data
		err  error
	)
	data = &Data{}
	if err = json.Unmarshal(message.Body, data); err != nil {
		fmt.Printf("Id:%s, Msg:%s \n", message.ID, string(message.Body))
		err = nil
	}
	message.Finish()
	return nil
}
func initConsuemr(topic string, channel string) {
	var (
		config *nsq.Config
		h      *MyTestHandler
		err    error
	)
	h = &MyTestHandler{}

	config = nsq.NewConfig()

	if h.q, err = nsq.NewConsumer(topic, channel, config); err != nil {
		fmt.Println(err)
		return
	}

	h.q.AddHandler(h)
	if err = h.q.ConnectToNSQD(config2.NsqHost); err != nil {
		fmt.Println(err)
	}

	//<-h.q.StopChan
	fmt.Println("stop")
	return
}

func ReceiveMessage() {
	initConsuemr("test", "v1")
	select {}
}

然后再main.go程序里调用

然后运行 go run main.go 然后在命令行向接点推送消息

注意需要确定发送和拉取的地址相对应。本篇只是入门安装例子，有些来自百度。需要深入的还得(děi)多看官方文档。