golang nats[5] cluster集群

最新推荐文章于 2024-08-11 23:41:38 发布
最新推荐文章于 2024-08-11 23:41:38 发布
阅读量435 收藏
点赞数
文章标签： golang
原文链接：http://www.cnblogs.com/gao88/p/10007754.html
版权

集群模式

nats的集群模式对客户端来说并不是透明的。
所以集群对发布者和订阅者都是有影响的。
发布者和订阅者都知道连接的是一个集群的服务，而不是一个单点服务,换句话说发布者订阅者都必须指明集群中各个节点的地址。
当然，发布者和订阅者可以只针对集群中的某节点发布消息和订阅消息，不过这并不是集群模式的目的。

目的

提高可用性和可伸缩性。

实现原理

可用性，多个节点，挂掉任意一个，不影响整个集群对外提供服务。
伸缩性，服务端支持随意增加节点。订阅者可以感知服务端节点的变动，但是发布者并不能自动感知。

3个node的集群

$ gnatsd -p 4222 -m 4333 -cluster nats://localhost:4248 -routes nats://localhost:5248,nats://localhost:6248 -DV  
$ gnatsd -p 5222 -m 5333 -cluster nats://localhost:5248 -routes nats://localhost:4248,nats://localhost:6248 -DV 
$ gnatsd -p 6222 -m 6333 -cluster nats://localhost:6248 -routes nats://localhost:4248,nats://localhost:5248 -DV

-p 端口：服务端口，发布者，订阅者需要使用此端口。
-m 端口: 监控端口。
-cluster 地址:作为集群节点对其他节点提供服务的地址，其他节点需要连接的地址。(其他节点的-routes 可以填写此地址)
-routes 地址：此节点，路由到其他地址的列表(也就是其他节点的-cluster)
-DV Debug and trace

gnatsd -p 服务提供端口 -m 服务监控端口 -cluster 集群内node地址 -routes 集群内其他node地址列表 -DV

Server

package main

import (
    "github.com/nats-io/go-nats"
    "log"
    "flag" "fmt" "time" ) const ( //url = "nats://192.168.3.125:4222" //url = nats.DefaultURL url = "nats://localhost:4222,nats://localhost:6222" //url = "nats://localhost:4222,nats://localhost:5222,nats://localhost:6222" ) var ( nc *nats.Conn err error ) func init() { if nc, err = nats.Connect(url, nats.DontRandomize(), nats.MaxReconnects(5), nats.ReconnectWait(2*time.Second), nats.DisconnectHandler(func(nc *nats.Conn) { fmt.Printf("Got disconnected!\n") }), nats.ReconnectHandler(func(_ *nats.Conn) { fmt.Printf("Got reconnected to %v!\n", nc.ConnectedUrl()) }), nats.ClosedHandler(func(nc *nats.Conn) { fmt.Printf("Connection closed. Reason: %q\n", nc.LastError()) }), nats.DiscoveredServersHandler(func(conn *nats.Conn) { fmt.Printf("Got Discover Server %v!\n", nc.ConnectedUrl()) }), nats.ErrorHandler(func(conn *nats.Conn, subscription *nats.Subscription, e error) { fmt.Printf("Got Error Server %v!\n",e) })); checkErr(err) { // } } func main() { var ( servername = flag.String("servername", "y", "name for server") queueGroup = flag.String("group", "", "group name for Subscribe") subj = flag.String("subj", "abc", "subject name") ) flag.Parse() log.Println(*servername, *queueGroup, *subj) startService(*subj, *servername+" worker1", *queueGroup) //startService(*subj, *servername+" worker2", *queueGroup) //startService(*subj, *servername+" worker3", *queueGroup) select {} } //receive message func startService(subj, name, queue string) { go async(nc, subj, name, queue) } func async(nc *nats.Conn, subj, name, queue string) { _, e := nc.QueueSubscribe(subj, queue, func(msg *nats.Msg) { log.Println(name, "Received a message From Async : ", string(msg.Data)) }) checkErr(e) } func checkErr(err error) bool { if err != nil { log.Println("error:", err) return false } return true }

Client

package main

import (
    "github.com/nats-io/go-nats" "log" "strconv" "github.com/pborman/uuid" "flag" "time" "fmt" ) const ( //url = "nats://192.168.3.125:4222" //url = "nats://localhost:4222" //url = "nats://localhost:4222,nats://localhost:6222" url = "nats://localhost:4222,nats://localhost:5222,nats://localhost:6222" //url = "nats://localhost:5222" ) var ( nc *nats.Conn err error ) func init() { if nc, err = nats.Connect(url, nats.DontRandomize(), nats.MaxReconnects(10), nats.ReconnectWait(2*time.Second), nats.DisconnectHandler(func(nc *nats.Conn) { fmt.Printf("Got disconnected!\n") }), nats.ReconnectHandler(func(_ *nats.Conn) { fmt.Printf("Got reconnected to %v!\n", nc.ConnectedUrl()) }), nats.ClosedHandler(func(nc *nats.Conn) { fmt.Printf("Connection closed. Reason: %q\n", nc.LastError()) })); checkErr(err) { // } nc.SetDiscoveredServersHandler(func(conn *nats.Conn) { }) } func main() { var ( subj = flag.String("subj", "abc", "subject name") ) flag.Parse() log.Println(*subj) startClient(*subj) time.Sleep(time.Second) } //send message to server func startClient(subj string) { for i := 0; i < 1; i++ { id := uuid.New() log.Println(id) nc.Publish(subj, []byte(id+" Golang "+strconv.Itoa(i))) //nc.Publish(subj, []byte(id+" Rain "+strconv.Itoa(i))) //nc.Publish(subj, []byte(id+" Fog "+strconv.Itoa(i))) //nc.Publish(subj, []byte(id+" Cloudy "+strconv.Itoa(i))) } } func checkErr(err error) bool { if err != nil { log.Println(err) return false } return true }

注意

  • 发布者和订阅者都需要指明3个节点的ur地址
    nats://localhost:4222,nats://localhost:5222,nats://localhost:6222
  • 如果3个node都不可用，发布者会发送消息失败。
  • 如果3个node至少有一个可用，订阅者就会收到消息。
  • 如果3个node全都不可用，订阅者会自动断开连接。
  • 增加一个node nats://localhost:7222,订阅者可以自动连接。
  • 增加node后，3个node全都不可用，订阅者不会断开连接，可以接受从新node发布的消息。
  • 3个node恢复后，订阅者可以接受3个node的消息。

后续

发布者和订阅者

  • 原始集群中node都不可用
  • 主动查询可用node
  • 接受可用node通知
  • 向可用node发送消息，订阅可用node的消息
  • 以上内容需要配合服务发现中间件或者自己实现

配置文件启动

$ gnatsd -c nodea.cfg
$ gnatsd -c nodeb.cfg
$ gnatsd -c nodec.cfg

nodea.cfg

listen: localhost:4222 # host/port to listen for client connections

http: localhost:4333 # HTTP monitoring port # Authorization for client connections #authorization { #user: yasenagat # ./util/mkpasswd -p T0pS3cr3t #password: $2a$11$W2zko751KUvVy59mUTWmpOdWjpEm5qhcCZRd05GjI/sSOT.xtiHyG #ytc #token: $2a$11$ZuYXelbdaRQnOcADEx40yOtinCvEi9c3X64K2Kyx7wLJq7ECPUnA2 #timeout: 1 #} # Cluster definition cluster { listen: localhost:4248 # host/port for inbound route connections # Authorization for route connections #authorization { #user: user2 # ./util/mkpasswd -p T0pS3cr3tT00! #password: $2a$11$xH8dkGrty1cBNtZjhPeWJewu/YPbSU.rXJWmS6SFilOBXzmZoMk9m #yctc #token: $2a$11$d/RrRseSiPOd/fxurspFquSirrjseRFRFGHdRbte7D8wj2laCLcVS #timeout: 0.5 #} # Routes are actively solicited and connected to from this server. # Other servers can connect to us if they supply the correct credentials # in their routes definitions from above. routes = [ nats-route://127.0.0.1:5248 nats-route://127.0.0.1:6248 ] } # logging options debug: false trace: true logtime: false log_file: "nodea.log" # pid file pid_file: "nodea.pid" # Some system overides # max_connections max_connections: 100 # max_subscriptions (per connection) max_subscriptions: 1000 # maximum protocol control line max_control_line: 512 # maximum payload max_payload: 65536 # Duration the server can block on a socket write to a client. Exceeding the # deadline will designate a client as a slow consumer. write_deadline: "2s"

nodeb.cfg

listen: localhost:5222 # host/port to listen for client connections

http: localhost:5333 # HTTP monitoring port

# Authorization for client connections
authorization {
  #user:     yasenagat
  # ./util/mkpasswd -p T0pS3cr3t #password: $2a$11$W2zko751KUvVy59mUTWmpOdWjpEm5qhcCZRd05GjI/sSOT.xtiHyG #ytb token: $2a$11$ToARKoxzTSTXxKCljOFe4eDmiPQ/EcaB0M7V8mGE1tfgOv97.iECe timeout: 1 } # Cluster definition cluster { listen: localhost:5248 # host/port for inbound route connections # Authorization for route connections authorization { #user: user1 # ./util/mkpasswd -p T0pS3cr3tT00! #password: pass1 #yctb token: $2a$11$EriHSUV8WO7PWUXTxOCY5uP7MhAswLE2tqQQPuz6kaoF89KhO8CcW timeout: 0.5 } # Routes are actively solicited and connected to from this server. # Other servers can connect to us if they supply the correct credentials # in their routes definitions from above. routes = [ nats-route://127.0.0.1:4248 nats-route://127.0.0.1:6248 ] } # logging options debug: false trace: true logtime: false log_file: "nodeb.log" # pid file pid_file: "nodeb.pid" # Some system overides # max_connections max_connections: 100 # max_subscriptions (per connection) max_subscriptions: 1000 # maximum protocol control line max_control_line: 512 # maximum payload max_payload: 65536 # Duration the server can block on a socket write to a client. Exceeding the # deadline will designate a client as a slow consumer. write_deadline: "2s"

nodec.cfg

listen: localhost:6222 # host/port to listen for client connections

http: localhost:6333 # HTTP monitoring port # Authorization for client connections #authorization { #user: yasenagat # ./util/mkpasswd -p T0pS3cr3t #password: $2a$11$W2zko751KUvVy59mUTWmpOdWjpEm5qhcCZRd05GjI/sSOT.xtiHyG #ytc #token: $2a$11$HZy0M3lcxxzJRsFhtAoiX.jCuqKLyztcYYZPWRtlR.APhs/4mFYGC #timeout: 1 #} # Cluster definition cluster { listen: localhost:6248 # host/port for inbound route connections # Authorization for route connections #authorization { #user: user2 # ./util/mkpasswd -p T0pS3cr3tT00! #password: $2a$11$xH8dkGrty1cBNtZjhPeWJewu/YPbSU.rXJWmS6SFilOBXzmZoMk9m #yctc #token: $2a$11$srwaIbFHGwIt37t3GrPynOHSpZ2LHTtw1QXWuznXGOaknEwulP4o6 #timeout: 0.5 #} # Routes are actively solicited and connected to from this server. # Other servers can connect to us if they supply the correct credentials # in their routes definitions from above. routes = [ nats-route://127.0.0.1:5248 nats-route://127.0.0.1:4248 ] } # logging options debug: false trace: true logtime: false log_file: "nodec.log" # pid file pid_file: "nodec.pid" # Some system overides # max_connections max_connections: 100 # max_subscriptions (per connection) max_subscriptions: 1000 # maximum protocol control line max_control_line: 512 # maximum payload max_payload: 65536 # Duration the server can block on a socket write to a client. Exceeding the # deadline will designate a client as a slow consumer. write_deadline: "2s"


作者：luckyase
链接：https://www.jianshu.com/p/0a54ffd7430f
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

转载于:https://www.cnblogs.com/gao88/p/10007754.html

ahyz9638
关注
NATS 2: self-signed full TLS security与手动管理三节点NATS集群
xuan602的博客
03-13 1313
NATS 2: self-signed full TLS security与手动管理三节点NATS集群安装 cfssl定义角色创建 Root CA生成server证书生成client证书生成route证书创建配置文件建立集群验证集群 参考 一本全面介绍NATS的书(英): Practical NATS From Beginner to Pro 安装 NATS 文中文件可以在此找到 Se...
golang知识图谱
点滴生活
09-06 1675
其他 常用包 常用包 说明 fmt 实现格式化的输入输出操作，其中的fmt.Printf()和fmt.Println()是开发者使用最为频繁的函数。 io 实现了一系列非平台相关的IO相关接口和实现，比如提供了对os中系统相关的IO功能的封装。我们在进行流式读写（比如读写文件）时，通常会用到该包。 bufio 它在io的基础上提供了缓存功能。在具备了缓存功能后， bufio可以比较方便地提供ReadLine之类的操作。 strconv ...
go-cluster:go程序的基本聚类测试
06-15
#Go-Cluster go中的基本聚类。 如何 克隆这个 repo。 make build 启动种子节点 ./bin/go-cluster-0.1.0.bin --node="hodor" 它看起来像： 启动另一个节点并给它种子的位置 ./bin/go-cluster-0.1.0.bin --bind="127.0.0.1:5001" \ --node="john-snow" --seed="127.0.0.1:6000" \ --advertise-addr="127.0.0.1" --advertise-port=6001 它将找到种子和输出： 然后种子将显示：
Nats 集群初探
sunican的专栏
01-11 3556
nats支持在集群模式下运行节点，节点做成集群之后，可以达到支持高容量、弹性化和高可用的效果。官网的说法是： NATS servers achieve this by gossiping about and connecting to, all of the servers they know, thus dynamically forming a full mesh. Once clientsconnectorre-connectto a particular server, they are...
最详细的nats讲解-部署加应用
最新发布
weixin_45653474的博客
08-11 1103
nats讲解，nats部署，nats学习，消息队列。
Nats集群部署
minamisama的博客
08-28 1120
在每个节点上下载并按照nats，可以在以下位置找到各个版本的nats-server：https://github.com/nats-io/nats-server/releases/下载的版本为：v2.9.21也可以用curl命令下载然后解压到/opt/目录下解压后的文件。
nats super cluster（nats跨集群）
aashuii的博客
02-24 2185
一、原理 原理可以参考https://docs.nats.io/running-a-nats-service/configuration/gateways Cluster内部server实例的连接是使用—route 参数（一般使用4222端口） Cluster之间增加了—gateway 参数，主要是为了通过合并减少cluster间连接数量和传输内容。 二、k8s上的部署 nats cluster的helm部署文件： https://github.com/nats-io/k8s 1、增加外部访问配置 除cl
nats集群部署
ss810540895的博客
06-29 2542
**说明：**集群采用三台机器部署，每台机器的目录、安装包、配置名都一样，但配置里面每个节点的ip和路由不一样，自己注意对应更改1.下载NATS Server当前的最新版本为0.9.6版，有三种二进制发布包，详见：https://github.com/nats-io/gnatsd/releases/2.解压 3.添加配置 节点一： 节点二： 节点三： **有个问题：**我这里配置文件里面写了集群通信认证的账号密码，但是在调试的过程中一直报错认证失败，然后我就把它注释了，在启动的时候通过参数指定的账号密码4.
Golang库集合
秋天的博客
10-23 1413
Golang库集合   golang用于创建和发送电子邮件的库 douceur - HTML 邮件中的内联 CSS email - 一个健壮的、灵活的 email 库 Go-dkim - DKIM 库，用于对 email 进行签名和验证 Go-imap - IMAP 库，用于客户端和服务器 Go-message - 用于触雷互联网消息格式和邮件的库 Gomail - Gomail 是一个非常...
高性能消息中间件——NATS
qiyue683209的博客
10-26 2643
前 言 这段时间我的主要工作内容是将公司系统中使用的RabbitMQ替换成NATS，而此之前我对Nats一无所知。经过一段时间紧张的学习和开发之后我顺利的完成了任务,并对消息中间件有了更深的了解。在此感谢同事钟亮在此过程中对我的帮助。NATS属于比较小众的一款中间件产品，中文资料基本上是没有的，故写以记之，为想学习Nats的同学提供一点帮助。 在介绍NATS之前先了解下什么是分布式系统和消息中间件...
游戏服务器框架php,golang -Pitaya 游戏服务器框架中文API教程
weixin_39875629的博客
04-12 1494
golang -Pitaya 是一种简单、快速、轻量级游戏服务器和集群支持框架和客户端库iOS、Android,团结和其他人通过C SDK。它提供了一个基本的分布式多人游戏和服务器端应用程序开发框架。先决条件Go>= 1.10etcd(用于服务发现)nats(可选的，用于发送和接收rpc, grpc实现也可以使用，如果喜欢的话)docker(可选:用于在容器上运行etcd和nats依...
redis-go-cluster, 在Go中，redis集群客户端实现.zip
09-18
redis-go-cluster, 在Go中，redis集群客户端实现 redis-go-clusterredis-go-cluster是基于 burd burd burd的客户端的一个golang实现的。 它在本地缓存 slot 信息，并在集群更改时自动更新。 客户端管理每个 node的连接池，使用，可以
nats 学习 集群ha 配置
weixin_34273479的博客
06-12 701
  nats 的ha 是一个mesh 的结构，有两个主要的参数 clusters routers 启动三分节点（单机） 共享变量 SERVERS=nats://127.0.0.1:6222,nats://127.0.0.1:6223,nats://127.0.0.1:6224 node a 开启了监控 SERVERS=nats://127.0.0....
开源项目推荐：Kubernetes 上的 NATS 集群部署——简化云原生消息传递
gitblog_00079的博客
06-05 294
开源项目推荐：Kubernetes 上的 NATS 集群部署——简化云原生消息传递 kubernetes-nats-clusterNATS cluster on top of Kubernetes made easy.项目地址:https://gitcode.com/gh_mirrors/ku/kubernetes-nats-cluster 项目介绍 kubernetes-nats-cluste...
NATS_11：NATS集群构建与验证
weixin_30409849的博客
04-06 486
NATS服务集群化 　　NATS支持每一个服务按照集群模式方式运行。你可以将这些服务组织在一起形成一个集群来提高服务器的容量的消息传递系统，并可以提升整个系统的弹性话和高可用性。 　　注意,NATS集群服务器转发是通过一个跳跃来完成的。这意味着每个gnatsd当从一个客户端接收到消息之后通过路由信息会立即转发给对应注册的gnatsd实例。接收到的消息通过一个路由才会分发给本地的客户。因此一个完...
golang redis cluster 操作
Nuck_Cat的博客
10-20 1711
1 创建客户端 func NewClient(redis_conf string) *redis.ClusterClient { client := redis.NewClusterClient(&redis.ClusterOptions{ Addrs: ["10.1.11.17:6379", "10.1.11.18:6379"], // master node ip list }) return client } 2. 基本命令 func Get(rd
nats cluster作为游戏服务的消息中间件
w82911645的专栏
09-18 437
nats分布式
Golang go-redis cluster模式下不断创建新连接，效率下降问题解决
阿良的博客
07-11 2305
在我测试集群模式下redis调用的时候发现效率不如单一节点模式。 我们先复现一下问题是怎么出现的。
go服务器消息堆积,一个Go推送服务器集群：gopush-cluster
weixin_29230805的博客
08-06 274
Terry-Mao/gopush-cluster是一个支持集群的comet服务(支持websocket，和tcp协议)。特性轻量级高性能纯Golang实现支持消息过期支持离线消息存储支持单个以及多个私信推送支持单个Key多个订阅者(可限制订阅者最大人数)心跳支持(应用心跳和tcp keepalive)支持安全验证(未授权用户不能订阅)多协议支持(websocket，tcp)详细的统计信息可拓扑的...
golang 调用redis集群
05-24
在 Golang 中使用 Redis 集群，可以使用官方提供的 Redis 客户端库 Redigo。Redigo 提供了连接池、管道、事务等功能，非常适合高并发场景下的 Redis 操作。 以下是一个使用 Redigo 连接 Redis 集群的示例： ```go package main import ( "fmt" "time" "github.com/gomodule/redigo/redis" ) func main() { cluster := &redis.Cluster{ MaxRedirects: 8, StartupNodes: []string{ "redis://node1:6379", "redis://node2:6379", "redis://node3:6379", }, DialTimeout: 10 * time.Second, ReadTimeout: 100 * time.Millisecond, WriteTimeout: 100 * time.Millisecond, } conn, err := cluster.Get() if err != nil { panic(err) } defer conn.Close() _, err = conn.Do("SET", "key", "value") if err != nil { panic(err) } value, err := redis.String(conn.Do("GET", "key")) if err != nil { panic(err) } fmt.Println(value) } ``` 在以上示例中，我们使用了 `redis.Cluster` 结构体来连接 Redis 集群，`MaxRedirects` 指定了最大重定向次数，`StartupNodes` 指定了集群中的节点地址，`DialTimeout`、`ReadTimeout`、`WriteTimeout` 分别指定了建立连接、读取数据、写入数据的超时时间。 使用 `cluster.Get()` 方法可以获取一个连接，使用完后需要调用 `conn.Close()` 方法释放连接。在获取到连接后，我们可以使用 `conn.Do()` 方法来执行 Redis 命令，也可以使用 `redis.String()`、`redis.Int()` 等方法来获取命令执行结果。 需要注意的是，在 Redis 集群中使用 `SET`、`GET` 等单个键操作命令时，Redigo 会自动进行分片操作，将请求发送到正确的节点。但是在使用一些不支持分片的命令时，需要手动指定节点。例如使用 `MGET` 命令时，需要使用 `redis.MultiConn.Do()` 方法并手动指定节点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值