Golang与NSQ消息队列

最新推荐文章于 2024-05-13 01:32:01 发布
最新推荐文章于 2024-05-13 01:32:01 发布
阅读量742 收藏 4
点赞数
分类专栏： Golang 文章标签： Go Golang NSQ 消息队列
楚江云
本文链接：https://blog.csdn.net/weixin_37717557/article/details/103017512
版权

文章目录

1. 概述

NSQ 是一个基于Go语言的分布式实时消息平台，它基于MIT开源协议发布，由bitly公司开源出来的一款简单易用的消息中间件

相关描述如下:

NSQ是一个实时分布式消息传递平台，旨在大规模运行，每天处理数十亿条消息。 它促进了没有单点故障的分布式和分散式拓扑，从而实现了容错能力和高可用性，并提供了可靠的消息传递保证。 查看功能和保证。 从操作上讲，NSQ易于配置和部署（所有参数均在命令行上指定，并且编译的二进制文件不具有运行时相关性）。 为了获得最大的灵活性，它与数据格式无关（消息可以是JSON，MsgPack，协议缓冲区或其他任何东西）。 官方提供了Go和Python库（以及许多其他客户端库），并且，如果您有兴趣构建自己的库，则有一个协议规范。

NSQ的特点

  • 支持水平横向拓展(无缝添加更多节点到集群中)
  • 部署配置容易,自带集群管理界面(nsqadmin)
  • 提倡分布式拓扑,减少单点故障,提高容错
  • 低延迟的消息传递
  • 可靠的消交付保障保障
    • 默认中消息都在内存中, nsq 内部机制保证在程序关闭时将队列中的数据持久化到硬盘，重启后就会恢复。
    • 消息最少被投递一次

比较知名和常用的消息处理系统还有

RabbitMQ

KafKa

2. 基础应用场景

我们知道一般的消息队列(Message Queue) 常用的场景有系统解耦 异步处理 流量削峰 消息通信 等

3. 相关文档

  1. 项目地址 : https://github.com/nsqio/nsq
  2. 项目文档 英文: https://nsq.io/overview/design.html
  3. 下载地址: https://nsq.io/deployment/installing.html
  4. 客户端下载地址 : https://nsq.io/clients/client_libraries.html

4.安装操作

根据自己的操作平台下载解压即可

  • 根据自己的操作系统下载对应的压缩包文件
  • 解压压缩文件
  • 进入解压后 bin 目录中

在bin 目录中我们能看到如下文件

-rwxr-xr-x 1 captain 197121 5515776 8月  28 13:46 nsq_stat.exe*
-rwxr-xr-x 1 captain 197121 5823488 8月  28 13:46 nsq_tail.exe*
-rwxr-xr-x 1 captain 197121 5997568 8月  28 13:46 nsq_to_file.exe*
-rwxr-xr-x 1 captain 197121 5923840 8月  28 13:46 nsq_to_http.exe*
-rwxr-xr-x 1 captain 197121 5903872 8月  28 13:46 nsq_to_nsq.exe*
-rwxr-xr-x 1 captain 197121 8787968 8月  28 13:46 nsqadmin.exe*
-rwxr-xr-x 1 captain 197121 9108992 8月  28 13:46 nsqd.exe*
-rwxr-xr-x 1 captain 197121 8384000 8月  28 13:46 nsqlookupd.exe*
-rwxr-xr-x 1 captain 197121 5639680 8月  28 13:46 to_nsq.exe*

5. NSQ服务端基础组件介绍

5.1 nsqd

nsqd是一个守护进程负责接收,排队,消息传递 到客户端。 它可以独立运行，但通常由nsqlookupd实例的群集中配置（在这种情况下，它将能声明topics和发现channel）。 它侦听两个TCP端口，一个侦听客户端，另一个侦听HTTP API。 它可以选择在第三个端口上侦听HTTPS。

5.2 nsqlookupd

nsqlookupd 是管理拓扑信息的守护程序。 客户端查询nsqlookupd以发现特定 topic 的 nsqd 生产者和 nsqd 节点广播topic和channel信息。
有两个接口：

nsqd用于广播的TCP接口

客户端(nsqadmin)执行发现和管理操作的HTTP接口

5.3 nsqadmin

nsqadmin 是一套 WEB管理界面,用来汇集集群的实时统计，并执行不同的管理任务。

重点提示:

NSQ还有许多功能组件,我们只介绍这三个(nsqd nsqlookupd nsqadmin)最常用和主要的

NSQ的所有组件都可以通过参数 -- help 查看相关配置

nsqd 和 nsqlookupd 都有对应的http API ,需要使用的时候查看文档即可

6.操作NSQ

6.1 安装客户端

根据不同的开发语言选择不同的客户端

我们是使用Golang操作所以采用NSQ的官方提供客户端 go-nsq

go get -u github.com/nsqio/go-nsq
6.1 单机启动nsqd

默认启动的nsqd 监听 HTTP对应的4151端口和TCP对应的4150端口

$ ./nsqd
[nsqd] 2019/11/10 13:41:29.575014 INFO: nsqd v1.2.0 (built w/go1.12.9)
[nsqd] 2019/11/10 13:41:29.593002 INFO: ID: 825
[nsqd] 2019/11/10 13:41:29.597000 INFO: TOPIC(topic_demo): created
[nsqd] 2019/11/10 13:41:29.599998 INFO: TOPIC(topic_demo): new channel(aa)
[nsqd] 2019/11/10 13:41:29.599998 INFO: NSQ: persisting topic/channel metadata to nsqd.dat
[nsqd] 2019/11/10 13:41:29.644973 INFO: HTTP: listening on [::]:4151
[nsqd] 2019/11/10 13:41:29.644973 INFO: TCP: listening on [::]:4150

我们同样可以指定端口

$ ./nsqd -http-address="0.0.0.0:8080" -tcp-address="0.0.0.0:8081"
[nsqd] 2019/11/10 14:05:40.726849 INFO: nsqd v1.2.0 (built w/go1.12.9)
[nsqd] 2019/11/10 14:05:40.745838 INFO: ID: 825
[nsqd] 2019/11/10 14:05:40.747836 INFO: NSQ: persisting topic/channel metadata to nsqd.dat
[nsqd] 2019/11/10 14:05:40.788814 INFO: TCP: listening on [::]:8081
[nsqd] 2019/11/10 14:05:40.788814 INFO: HTTP: listening on [::]:8080

这样我们就启动了一个nsqd 的实例

在NSQ中有两个非常重要的概念 topic 和 Channel

我们看一下文档中的描述:

每个nsqd实例旨在一次处理多个数据流。这些数据流称为“topics”，一个topic具有1个或多个“channels”。每个channel都会收到topic所有消息的副本，实际上下游的服务是通过对应的channel来消费topic消息。

topic和channel不是预先配置的。topic在首次使用时创建，方法是将其发布到指定topic，或者订阅指定topic上的channel。channel是通过订阅指定的channel在第一次使用时创建的。

topic和channel都相互独立地缓冲数据，防止缓慢的消费者导致其他chennel的积压（同样适用于topic级别）。

channel可以并且通常会连接多个客户端。假设所有连接的客户端都处于准备接收消息的状态，则每条消息将被传递到随机客户端。例如：

在这里插入图片描述

总而言之，消息是从topic->channel多播的（每个channel都接收该topic的所有消息的副本），但从channel-> 消息消费者 均匀分发（每个消费者都接收该频道的一部分消息）。

6.1.1 单NSQ的使用

编写一个消息生产者
nsq_single_product.go

package main

import (
	"fmt"
	"github.com/nsqio/go-nsq"
	"time"
)
func main() {
	nsqAddr := "127.0.0.1:8081"
	conf :=nsq.NewConfig()
	p ,err := nsq.NewProducer(nsqAddr,conf)
	if err != nil {
		fmt.Println(err)
		return
	}
	for  {
		message := "message :"+ time.Now().Format("2006-01-02 15:04:05")
		fmt.Println(message)
		// 发送消息
		p.Publish("topic-demo1",[]byte(message))
		time.Sleep(time.Second)
	}

}

编写一个消息消费者

nsq_single_consumer.go

package main

import (
	"fmt"
	"github.com/nsqio/go-nsq"
)

type NewHandler struct{}

func (m *NewHandler) HandleMessage(msg *nsq.Message) (err error) {
	addr := msg.NSQDAddress
	message := string(msg.Body)
	fmt.Println(addr, message)
	return
}
func MyConsumers(topic, channel, addr string) {
	conf := nsq.NewConfig()
	new_consumer, err := nsq.NewConsumer(topic, channel, conf)
	if err != nil {

	}
	// 接收消息
	new_handler := &NewHandler{}
	new_consumer.AddHandler(new_handler)
	err = new_consumer.ConnectToNSQD(addr)
	if err != nil {

	}
}
func main() {
	addr := "127.0.0.1:8081"
	go MyConsumers("topic-demo1", "channel-aa", addr)
    // 模拟多个从多个channel去消息
	go MyConsumers("topic-demo1", "channel-bb", addr)
	select {}
}
6.1.2 通过nsqadmin查看

启动nsqadmin

nsqadmin 的web界面默认监听了 4171端口

$ ./nsqadmin --nsqd-http-address="127.0.0.1:8080"
[nsqadmin] 2019/11/10 16:06:15.842033 INFO: nsqadmin v1.2.0 (built w/go1.12.9)
[nsqadmin] 2019/11/10 16:06:15.858026 INFO: HTTP: listening on [::]:4171

我们在地址栏中输如

http://127.0.0.1:4171/

就能看看管理界面

在这里插入图片描述
在这里插入图片描述

6.1.3 NSQ的单点结构

在这里插入图片描述

6.3 NSQ集群
6.3.1 启动NSQ各组件

构建一个NSQ的基础拓扑结构

我们可以简单的说nsqlookupd 是用来管理nsqd实例节点的

第一步
启动nsqlookupd

启动的nsqlookupd 采用了默认配置 通过参数 --help 查看配置项

$ ./nsqlookupd
[nsqlookupd] 2019/11/10 16:40:55.968588 INFO: nsqlookupd v1.2.0 (built w/go1.12.9)
[nsqlookupd] 2019/11/10 16:40:55.983580 INFO: HTTP: listening on [::]:4161
[nsqlookupd] 2019/11/10 16:40:55.984579 INFO: TCP: listening on [::]:4160

第二步

添加nsqd 实例

与前面的启动不同,需要带上参数 -lookupd-tcp-address

添加第一个实例

./nsqd -http-address="0.0.0.0:8080" -tcp-address="0.0.0.0:8081" -lookupd-tcp-address="127.0.0.1:4160"

添加第二个实例

 ./nsqd -http-address="0.0.0.0:8090" -tcp-address="0.0.0.0:8091" -lookupd-tcp-address="127.0.0.1:4160"

第三步

启动nsqadmin

与前面的也不同了需要带上参数 -lookupd-http-address

$ ./nsqadmin -lookupd-http-address="127.0.0.1:4161"

在浏览器中访问nsqadmin

在这里插入图片描述

在这里插入图片描述

6.3.2 NSQ的拓扑结构

在这里插入图片描述

  1. 在集群模式中,消息生产方发送消息给任意一个nsqd 实例都不影响
  2. 消息的消费者需要通过nsqlookupd 查询nsqd的地址后才能获取消息
  3. 增加nsqd 节点完全不影响其他的节点
6.3.3 Go语言操作NSQ代码示例

消息生产者

nsq_cluster_product.go

package main

import (
	"bufio"
	"fmt"
	"github.com/nsqio/go-nsq"
	"log"
	"os"
	"strings"
)

var pro *nsq.Producer

func NewPro(addr string) (err error) {
	conf := nsq.NewConfig()
	pro, err = nsq.NewProducer(addr, conf)
	if err != nil {
		log.Println(err)
		return err
	}
	return nil
}
func main() {
	nsqAddr := "127.0.0.1:8091"
	err := NewPro(nsqAddr)
	if err != nil {
		fmt.Println(err)
		return
	}else{
		fmt.Println("connect 127.0.0.1:8091 success")
	}
	// 读取标准输入
	reader := bufio.NewReader(os.Stdin)
	for {
		// 读取所有内容直到遇见回车(\n)
		data, err := reader.ReadString('\n')
		if err != nil {
			fmt.Println("read data from stdin is field : ", err)
			continue
		}
		// 当输入q的时候退出
		data = strings.TrimSpace(data)
		if strings.ToUpper(data) == "Q" {
			break
		}
		err = pro.Publish("topic-demo1", []byte(data))
		if err != nil {
			fmt.Println("nsq publish is field ", err)
			continue
		}
	}
	fmt.Println("exit !")
}

消息消费者

nsq_cluster_consumer.go

package main

import (
	"fmt"
	"github.com/nsqio/go-nsq"
)

type Handler struct{}

func (m *Handler) HandleMessage(msg *nsq.Message) (err error) {
	addr := msg.NSQDAddress
	message := string(msg.Body)
	fmt.Println(addr, message)
	return
}
func NewConsumers(t string, c string, addr string) error {
	conf := nsq.NewConfig()
	nc, err := nsq.NewConsumer(t, c, conf)
	if err != nil {
		fmt.Println("create consumer failed err ", err)
		return err
	}
	consumer := &Handler{}
	nc.AddHandler(consumer)
	// 连接nsqlookupd
	if err:= nc.ConnectToNSQLookupd(addr);err!=nil{
		fmt.Println("connect nsqlookupd failed ", err)
		return err
	}
	return nil
}
func main() {
	// 这是nsqlookupd的地址
	addr := "127.0.0.1:4161"
	err := NewConsumers("topic-demo1", "channel-aa", addr)
	if err != nil {
		fmt.Println("new nsq consumer failed", err)
		return
	}
	select {}
}
楚江云
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
在CSDN学Golang分布式中间件（kafka）
YKM_2580的博客
07-21 814
在向 Kafka Broker 发送消息时，我们将消息通过 Input() 方法写入到生产者的输入通道中，并且在 select 语句中等待结果返回。需要注意的是，当消费者组发生 rebalance 事件时，Kafka 会调用一次 Cleanup() 方法来释放掉当前所有分配给该消费者组的分区，然后再调用一次 Setup() 方法来分配新的分区。Kafka 可以作为一个高吞吐量的消息队列，但是在实际应用中，当流量过大时，可能会造成消息处理能力不足的情况。时，生产者发送消息后不会等待服务器响应，直接返回成功。
Go之NSQ简介,原理和使用
10-27 378
/* 1. NSQ提倡分布式和分散的拓扑,没有单点故障,支持容错和高可用性, 并提供可靠的消息交付保证. 2. NSQ支持横向扩展,没有任何集中式代理 3. NSQ易于配置和部署,并且内置了管理界面 / / 1. 支持无 SPOF 的分布式拓扑 2. 水平扩展(没有中间件，无缝地添加更多的节点到集群) 3. 低延迟消息传递 (性能) 4. 结合负载均衡和多播消息路由风格 5. 擅长面向流媒体(高通量)和工作(低吞吐量)工作负载 6. 主要是内存中(除了高水位线消息透明地保存在磁盘上) 7. 运行时发现消费者
Go操作NSQ
weixin_30470643的博客
09-13 282
目录 一、NSQ 二、NSQ介绍 三、NSQ的应用场景 3.1 异步处理 3.2 应用解耦 3.3 流量削峰 四、安装 五、NSQ组件 5.1 nsqd 5.2 nsqloo...
go 使用NSQ(消息队列)
General_zy的博客
04-10 1513
它们消耗的资源很少，可以与其他服务共存。每个channel都会收到topic所有消息的副本，实际上下游的服务是通过对应的channel来消费topic消息。总而言之，消息是从topic -> channel（每个channel接收该topic的所有消息的副本）多播的，但是从channel -> consumers均匀分布（每个消费者接收该channel的一部分消息）。流量削峰：类似秒杀（大秒）等场景下，某一时间可能会产生大量的请求，使用消息队列能够为后端处理请求提供一定的缓冲区，保证后端服务的稳定性。
【Golang星辰图】Go语言魔法使者：解锁消息队列魅力，轻松构建强大应用(1)
最新发布
2401_84925977的博客
05-13 416
通过本文的介绍和示例代码，读者将了解如何在Go语言项目中集成各种消息队列功能。从连接到消息代理、声明队列和交换机，到发送和接收消息，每个库都提供了方便且高效的方法来处理消息传递任务。选择合适的消息队列库取决于项目需求和性能要求，但无论选择哪个库，都可以极大地简化消息通信并提高系统的可靠性和可伸缩性。[外链图片转存中…(img-VuqGYhZH-1715535098120)][外链图片转存中…(img-siS7df5X-1715535098121)]
golang分布式中间件之Redis
SMILY12138的博客
04-14 344
本文将深度探讨Redis在golang分布式系统中的应用，包括Redis的基础知识、Redis在golang中的使用方法、Redis的集群模式以及Redis在分布式系统中的应用场景。本文深入探讨了Redis在golang分布式中间件领域的应用，包括Redis的基础知识、Redis在golang中的使用方法、Redis的集群模式以及Redis在分布式系统中的应用场景。Redis的命令 Redis提供了多种命令，包括对数据类型进行增删改查的操作，以及其他一些常用的操作，如事务、订阅/发布、Lua脚本等。
Go-GoQ在Golang中的轻量级消息队列
08-14
GoQ 在Golang中的轻量级消息队列
基于golang的简单分布式延时队列服务的实现
12-20
一般我接触到的解决方法中在比较小的服务里都会自己维护一个backend，但是随着这种backend和server增多，这种方法很大程度和本身业务耦合在一起，所以这时需要一个延时队列服务。 名词解释 topic_list队列：每一个来...
golang实现redis的延时消息队列功能示例
01-03
在学习过程中发现redis的zset还可以用来实现轻量级的延时消息队列功能，虽然可靠性还有待提高，但是对于一些对数据可靠性要求不那么高的功能要求完全可以实现。本次主要采用了redis中zset中的zadd, zrangebyscore 和...
simpleq:golang实现的消息队列服务，支持消费主题(topic)以及消费者分组(group)
06-15
golang实现的消息队列服务，支持消费主题(topic)以及消费者分组(group) 目前实现了基本的功能模块，后面的精力主要放在主从复制，数据清除，还有性能优化。 使用方式 安装 需要go1.2或以上版本 go get github....
golang-nsq高性能消息队列
梦逸灵箭——的博客
07-31 896
nsq高性能消息队列前言安装和部署特性nsq优点&缺点客户端Golang的客户端 前言 tips:如果本文对你有用，请爱心点个赞，提高排名，让这篇文章帮助更多的人。谢谢大家！比心❤~ 如果解决不了，可以在文末加我微信，进群交流。 NSQ 是实时的分布式消息处理平台，其设计的目的是用来大规模地处理每天数以十亿计级别的消息。 NSQ 具有分布式和去中心化拓扑结构，该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征。 NSQ 非常容易配置和部署，且具有最大的灵活性，支持众多消息协
Go-用500行Golang代码实现高性能的消息回调中间件
08-14
用 500 行 Golang 代码实现高性能的消息回调中间件
Go-go-nsq-NSQ的官方Go包
08-14
go-nsq - NSQ的官方Go包
Docker中安装kafka
小男孩tom的博客
01-16 1427
docker 安装kafka
go语言 消息队列NSQ基础安装及使用
zxm的博客
07-15 1029
正文 打开 https://nsq.io/deployment/installing.html 下载对应的nsq版本，我下载的是linux最新稳定版 下载解压之后，在/usr/下建立一个目录，接着把解压文件夹/bin/下面的文件全部拷贝进去，最后在/etc/profile添加引用路径，这样就可以直接使用命令启动nsq服务了，我的配置如下 我们先介绍一下几个必要服务的作用 nsqlookupd：...
分布式消息队列RocketMQ&Kafka -- 消息的“顺序消费”-- 一个看似简单的复杂问题
awhip9的博客
06-14 2039
在说到消息中间件的时候，我们通常都会谈到一个特性：消息的顺序消费问题。这个问题看起来很简单：Producer发送消息1, 2, 3。。。 Consumer按1, 2, 3。。。顺序消费。 但实际情况却是：无论RocketMQ，还是Kafka，缺省都不保证消息的严格有序消费！ 这个特性看起来很简单，但为什么缺省他们都不保证呢？ “严格的顺序消费”有多么困难 下面就从3个方面来
golang 从零实现一个中间件(middleware)
u014270740的专栏
06-10 5999
实现中间件的背景 先看如下代码 package main func hello(wr http.ResponseWriter, r *http.Request) { wr.Write([]byte("hello")) } func main() { http.HandleFunc("/", hello) err := http.ListenAndServe(":8...
golang 调用RabbitMQ消息队列监控API
07-28
在 Golang 中调用 RabbitMQ 的消息队列监控 API 可以使用标准的 `net/http` 包来发送 HTTP 请求并处理响应。以下是一个简单的示例代码，用于获取 RabbitMQ 的队列信息： ```go package main import ( "encoding/json" "fmt" "io/ioutil" "net/http" ) type QueueInfo struct { Name string `json:"name"` Messages int `json:"messages"` Consumers int `json:"consumers"` } func main() { // RabbitMQ API URL url := "http://localhost:15672/api/queues" // 创建 HTTP 客户端 client := &http.Client{} // 创建 HTTP 请求 req, err := http.NewRequest("GET", url, nil) if err != nil { fmt.Println("创建请求失败:", err) return } // 设置 Basic Auth 认证（如果需要） req.SetBasicAuth("username", "password") // 发送请求并获取响应 resp, err := client.Do(req) if err != nil { fmt.Println("发送请求失败:", err) return } defer resp.Body.Close() // 读取响应内容 body, err := ioutil.ReadAll(resp.Body) if err != nil { fmt.Println("读取响应失败:", err) return } // 解析 JSON 响应 var queues []QueueInfo err = json.Unmarshal(body, &queues) if err != nil { fmt.Println("解析响应失败:", err) return } // 输出队列信息 for _, queue := range queues { fmt.Printf("队列名称: %s\n", queue.Name) fmt.Printf("消息数量: %d\n", queue.Messages) fmt.Printf("消费者数量: %d\n", queue.Consumers) fmt.Println("----------------------") } } ``` 请注意，上述代码中的 `url` 变量需要根据你的 RabbitMQ 配置进行相应调整。如果 RabbitMQ 设置了用户名和密码的认证，你需要使用 `SetBasicAuth` 方法设置 Basic Auth 认证信息。 该示例代码发送一个 HTTP GET 请求到 RabbitMQ 的 `/api/queues` 接口，获取所有队列的信息，并将其解析为 `QueueInfo` 结构体。然后，你可以根据需要处理和使用这些队列信息。 希望这个示例能帮助到你。如果有任何其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值