nsq双机集群部署

最新推荐文章于 2023-12-16 10:57:54 发布
最新推荐文章于 2023-12-16 10:57:54 发布
阅读量798 收藏 1
点赞数 1
分类专栏： golang 架构 文章标签： nsq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wyongqing/article/details/115396359
版权
本文介绍了如何在双机环境下部署nsq集群以确保高可用性。当单节点nsqlookup或nsqd故障时，通过部署两套nsqlookup和nsqd并让生产者写入两个nsqd，消费者监听两个nsqlookup，可以防止系统瘫痪。总结中提到，只要有至少一个nsqlookup和一个nsqd正常运行，系统就能保持运作。
摘要由CSDN通过智能技术生成

问题

双机nsq如果部署集群，如何保证高可用性

  1. 单节点nsqlookup故障?

  2. 单节点nsq故障?

  3. 消息丢失?

环境说明

两台机器

机器A 192.168.120.1

机器B 192.168.120.101

部署过程

  • 部署方法

  1. 机器A部署一套nsqlookup+nsqd

  2. 机器B部署一套nsqlookup+nsqd

  3. 生产者将消息同时写入两个nsqd

  4. 消费者监听两个nsqlookup

  • 结构图

在这里插入图片描述

  • 机器A
nsqlookupd -broadcast-address 192.168.120.1
nsqd -lookupd-tcp-address=192.168.120.1:4160 -lookupd-tcp-address=192.168.120.101:4160 -broadcast-address 192.168.120.1
  • 机器B
nsqlookupd -broadcast-address 192.168.120.101
nsqd -lookupd-tcp-address=192.168.120.1:4160 -lookupd-tcp-address=192.168.120.101:4160 -broadcast-address 192.168.120.101

pynsq测试脚本

  • 生产者

                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  w妙音
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
基于NSQ搭建高可用分布式消息队列

				
			

			

				

					ceshiren456的博客
				

				

					08-05
					
					375
					
				

			

		

		

			
				
nsqd 可以多机器部署，当使用客户端向一个topic发送消息时，可以配置多个nsqd地址，消息会随机的分配到各个nsqd上，nsqd优先把消息存储到内存channel中（也可以通过配置让消息全部落盘存储），当内存channel满了之后，则把消息写到磁盘文件中。支持组播，一个队列可以有多个通道（channel）来同时消费，每个通道都将接收到这个队列中所有消息的副本，保证每个通道中消费到的消息一致，各通道可以有自己的消费进度，互相不会影响。◆ 机器不能重启恢复的情况下，从备份数据中回放该nsqd的备份消息。.

			
		

	



                

              
                



	

		

			

				
					
nsq  docker集群部署

				
			

			

				

					qq_38020553的博客
				

				

					12-28
					
					492
					
				

			

		

		

			
				
https://www.cnblogs.com/li-peng/p/7729174.html

			
		

	



                


  
              

                


	

		

			

				
					
快速搭建NSQ集群

				
			

			

				

					yzj050322的博客
				

				

					08-29
					
					2313
					
				

			

		

		

			
				
原文 https://anthonysterling.com/posts/quick-nsq-cluster.html

我关注Bitly的实时分布式消息传递平台NSQ已经有一段时间了。 它是用Go编写的，所以它易于部署，并带有统计，管理和生产者的内置HTTP接口。

我想我会快速分享这个Bash脚本来启动一个带有2个nsqlookupd节点，5个nsqd节点和一个在端口9000上运行的nsqad...

			
		

	





	

		

			

				
					
go实现NSQ消息队列的集群部署

				
			

			

				

					taw19960426的博客
				

				

					04-22
					
					1216
					
				

			

		

		

			
				
1 安装
官方下载页面根据自己的平台下载并解压即可。
我安装的是windows版本的

2 NSQ的工作模式
每个nsqd实例旨在一次处理多个数据流。这些数据流称为“topics”，一个topic具有1个或多个“channels”。每个channel都会收到topic所有消息的副本，实际上下游的服务是通过对应的channel来消费topic消息。

topic和channel不是预先配置的。topic在首次使用时创建，方法是将其发布到指定topic，或者订阅指定topic上的channel。channel是

			
		

	



		

			
		



	

		

			

				
					
NSQ单节点和集群搭建

				
			

			

				

					Admin
				

				

					01-11
					
					1591
					
				

			

		

		

			
				
文章目录NSQ简介NSQ搭建单节点搭建集群搭建参考链接
NSQ简介

NSQ是由四个重要组件构成：

nsqd：一个负责接收、排队、转发消息到客户端的守护进程
nsqlookupd：管理拓扑信息并提供最终一致性的发现服务的守护进程
nsqadmin：一套Web用户界面，可实时查看集群的统计数据和执行各种各样的管理任务
utilities：常见基础功能、数据流处理工具，如nsq_stat、nsq_tail、nsq_to_file、nsq_to_http、nsq_to_nsq、to_nsq

NSQ搭建
下载和

			
		

	





	

		

			

				
					
Docker Stack部署NSQ实时分布式消息集群

				
			

			

				

					
				

				

					12-11
					
					479
					
				

			

		

		

			
				
Docker搭建NSQ实时分布式消息集群

NSQ是一个基于Go语言的分布式实时消息平台，它基于MIT开源协议发布，代码托管在GitHub。NSQ可用于大规模系统中的实时消息服务，并且每天能够处理数亿级别的消息，其设计目标是为在分布式环境下运行的去中心化服务提供一个强大的基础架构。
NSQ具有分布式、去中心化的拓扑结构，该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征。NS...

			
		

	





	

		

			

				
					
nsqelastic:Nsq弹性集群

				
			

			

				

					05-07
				

			

		

		

			
				
### Nsqelastic是nsqd集群的试用和实现。  该项目由deepglint.com Muse Group托管和开源。  ##设计原则：  以此来逐层管理资源。  ##客户交换规则：  Nsq Elastic通过nsqlookupd逐个检查nsqd节点，以获取每个节点的...

			
		

	





	

		

			

				
					
docker-compose安装nsq集群

				
			

			

				

					qq2806000829的博客
				

				

					10-26
					
					502
					
				

			

		

		

			
				
docker-compose安装nsq集群

因公司项目用到了nsq，自己在家捣鼓了几个小时翻阅文档在本地搭了个集群,直接上docker-compose.yml


version: '3'
services:
  nsqlookupd:
    restart: always
    image: nsqio/nsq
    command: /nsqlookupd --broadcast-address=192.168.2.3
    ports:
      - "4160:4160"
      -

			
		

	





	

		

			

				
					
docker-compose 容器部署 nsq

				
			

			

				

					07-30
				

			

		

		

			
				
【Docker Compose 部署 NSQ】  在IT行业中，Docker Compose是一个非常流行的工具，用于定义和运行多容器的Docker应用程序。它通过一个YAML文件（通常命名为`docker-compose.yml`）来配置服务，网络和卷，使得在开发...

			
		

	





	

		

			

				
					
nsq消息队列 Java_nsq消息队列部署几种方案(单机)

				
			

			

				

					weixin_42405371的博客
				

				

					03-05
					
					291
					
				

			

		

		

			
				
NSQ是一个实时的分布式消息平台。它的设计目标是为在多台计算机上运行的松散服务提供一个现代化的基础设施骨架。NSQ是由3个进程组成的：nsqd 是一个接收、排队、然后转发消息到客户端的进程。nsqlookupd管理拓扑信息并提供最终一致性的发现服务。nsqadmin用于实时查看集群的统计数据(并且执行各种各样的管理任务)。1 源码部署cd /usr/local/nsq-1.1.0.linux-am...

			
		

	





	

		

			

				
					
Quick NSQ Cluster

				
			

			

				

					kc87654321的专栏
				

				

					09-17
					
					588
					
				

			

		

		

			
				
’ve been meaning to look at Bitly’s realtime distributed messaging platform NSQ for a while now. It’s written in Go so it’s easy to deploy, and comes with a built-in HTTP interface for statistics, adm

			
		

	





	

		

			

				
					
【NSQ部署】

					
最新发布

				
			

			

				

					白衣不染尘的博客
				

				

					12-16
					
					1075
					
				

			

		

		

			
				
NSQ是一个基于Go语言的分布式实时消息平台，其设计目标是为在分布式环境下运行的去中心化服务提供一个强大的基础架构。

			
		

	





	

		

			

				
					
Docker部属Nsq集群

				
			

			

				

					词语大杂烩
				

				

					10-25
					
					646
					
				

			

		

		

			
				
为了容灾需要对nsqd多机器部属，有了Docker后，快速扩还是很方便的。

　　部署完后我会用go和c#写一些代码方便大家学习。

 

　　准备工作：

　　》两台服务器：192.168.0.49; 192.168.0.105.

　　》需要在两台机器上安装好Docker

　　》两台机器上镜像的拉取 

docker pull nsqio/nsq


　　我

			
		

	





	

		

			

				
					
nsq部署相关

				
			

			

				

					qq_41755706的博客
				

				

					01-22
					
					443
					
				

			

		

		

			
				
一、参考
1.Docker部属Nsq集群
2.Golang中优秀的消息队列NSQ基础安装及使用
3.docker 部署 nsq
以上部分可以对nsq、及nsq的部署有一定的了解。
二、部署总结
nsq 主要有三个组件: nsqlookupd, nsqd, nsqadmin。这三个组件都包含在 nsqio/nsq 镜像中, 每一个组件都可以通过指定组件名的方式去启动,启动命令的形式如下:
docker run nsqio/nsq /command
1、拉取nsq镜像
docker pull nsqio/nsq

			
		

	





	

		

			

				
					
用vmware workstation做双机集群的详细过程（四）

				
			

			

				

					weixin_33800463的博客
				

				

					01-12
					
					279
					
				

			

		

		

			
				
Ø 接下来配置集群中网卡的属性，首先配置data网卡，因为它只是用来连接存储的，不用参与集群通信。所以单击data的属性菜单，见下图。


Ø 默认的data网卡属性如下图，实际上public网卡和private网卡的默认属性也是这样的，对于这个默认属性，public网卡就不用修改了，主要修改data网卡和private网卡。把data网卡的“为群集使用启用这个网...

			
		

	





	

		

			

				
					
mac下本地搭建nsq经验分享

				
			

			

				

					WorldMvp的专栏
				

				

					05-18
					
					2560
					
				

			

		

		

			
				
mac os版本为10.13.3 。go 语言版本为go1.10.2。

对于什么是nsq，请参考https://blog.csdn.net/chinawangfei/article/details/80341688。

在本地搭建时，请先到nsq官网熟悉搭建流程，具体网址为：https://nsq.io/overview/quick_start.html。

搭建NSQ实时分布式消息平台，主要启...

			
		

	





	

		

			

				
					
分布式实时消息平台NSQ: 整体架构

				
			

			

				

					CoLiuRs
				

				

					06-03
					
					2285
					
				

			

		

		

			
				
分布式实时消息平台NSQ- 整体架构
介绍
NSQ是一个基于Go语言的分布式实时消息平台，其设计目标是为在分布式环境下运行的去中心化服务提供一个强大的基础架构。
NSQ具有分布式、去中心化的拓扑结构，该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征。NSQ非常容易配置和部署，且具有最大的灵活性，支持众多消息协议。
术语

Topic: 一个可供订阅的话题，是消息的分类概念。
channel: 一个通道（channel）是消费者订阅了某个话题的逻辑分组. 一个Topic有可以分为多个C

			
		

	





	

		

			

				
					
nsq详细教程1 部署及组件功能测试

				
			

			

				

					zhangxm_qz的博客
				

				

					05-07
					
					1563
					
				

			

		

		

			
				
文章目录环境准备下载及解压
环境准备
这里使用一台vmware 虚拟机来完成nsq的测试和学习
下载及解压
到官网下载nsq安装包
官网下载地址
下载完成后



			
		

	





	

		

			

				
					
centos7如何部署nsq集群

				
			

			

				

					04-08
				

			

		

		

			
				
CentOS 7 部署 NSQ 集群的步骤如下：  1. 下载 NSQ 的二进制文件，可以到官网上下载。解压后将可执行文件放入 /usr/local/bin 目录中。  2. 创建 NSQ 配置文件，可以使用默认配置文件，也可以自己编写。配置文件中...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值