随着大数据时代的到来,分布式是解决大数据问题的一个主要手段,随着越来越多的分布式的服务,如何在分布式的系统中对这些服务做协调变成了一个很棘手的问题。我们在一个项目上注册了很多服务,在进行运维时,需要时刻关注服务的运行状态,统一管理。统一配置。今天我们就来看看如何使用C# ,利用开源对分布式服务做协调。
在对分布式的应用做协调的时候,主要会碰到以下的应用场景:
- 业务发现(service discovery)
找到分布式系统中存在那些可用的服务和节点
- 名字服务 (name service)
通过给定的名字知道到对应的资源
- 配置管理 (configuration management)
如何在分布式的节点中共享配置文件,保证一致性。
- 故障发现和故障转移 (failure detection and failover)
当某一个节点出故障的时候,如何检测到并通知其它节点, 或者把想用的服务转移到其它的可用节点
- 领导选举(leader election)
如何在众多的节点中选举一个领导者,来协调所有的节点
- 分布式的锁 (distributed exclusive lock)
如何通过锁在分布式的服务中进行同步
- 消息和通知服务 (message queue and notification)
如何在分布式的服务中传递消息,以通知的形式对事件作出主动的响应
Consul
Consul是用Go开发的分布式服务协调管理的工具,它提供了服务发现,健康检查,Key/Value存储等功能,并且支持跨数据中心的功能。consul提供的一些关键特性:
-
service discovery:consul通过DNS或者HTTP接口使服务注册和服务发现变的很容易,一些外部服务,例如saas提供的也可以一样注册。
-
health checking:健康检测使consul可以快速的告警在集群中的操作。和服务发现的集成,可以防止服务转发到故障的服务上面。
-
key/value storage:一个用来存储动态配置的系统。提供简单的HTTP接口,可以在任何地方操作。
-
multi-datacenter:无需复杂的配置,即可支持任意数量的区域。
Consul基于HTTP的API可以方便的和各种语言进行绑定,C# 语言绑定https://github.com/PlayFab/consuldotnet
Consul在Cluster上的每一个节点都运行一个Agent,这个Agent可以使用Server或者Client模式。Client负责到Server的高效通信,相对为无状态的。 Server负责包括选举领导节点,维护cluster的状态,对所有的查询做出响应,跨数据中心的通信等等。
consul官网已经有编译好的二进制包,支持各种平台:win、linux等等,下载符合你平台的软件包:https://www.consul.io/,下载包:0.5.2_windows_386.zip。解压完毕后只有一个consul文件。
我解压到桌面,然后用命令行进行安装,执行命令:C:\Users\Administrator\Desktop\consul>consul.exe
安装完成后,agent就可以启动了。agent可以运行在server或者client模式,每个数据中心至少有一个agent运行在server模式,一般建议是3或者5个server。部署单个server是非常不好的,因为在失败场景中出现数据丢失是不可避免的。本文涵盖的是创建一个新的数据中心,所有其他的agents都运行在client模式,这是一个非常轻量级的服务注册进程,它会运行健康监测,并将查询结果转发到服务。agent必须运行在集群中的每一个节点上。
我们在consul目录下输入:consul agent -server -bootstrap-expect 2 -data-dir C:\Users\Administrator\Desktop\consul -node=n1 -bind=10.7.19.148
其中:-bootstrap-expect 2(表示在两个集群中选择一个leader,改为1的话,那就是默认自己为leader);
-server (表示agent是以服务器的方式进行启动)
-bind=10.7.19.148(绑定的是本机的地址)
-node=n1(表示启动时设置的节点名称,这里节点名为n1)
-data-dir C:\Users\Administrator\Desktop\consul(表示consul的文件路径)
如果去掉-server,也就是启动命令改为:consul agent -data-dir C:\Users\Administrator\Desktop\consul -node=n3 -bind=10.7.19.148 -dc=dc1 便是也client的方式进行启动。
在日志中我们会发现它会提示没有发现 Consul servers的存在。
WEB UI
consul同样也支持web界面,这个UI可以用来查看所有的服务和节点,所有的健康检测和它们当前的状态,读取设置K/V系统的值。UI默认自动支持多datacenter。这些UI是静态html你不需要单独运行一个web服务器,consul agent本身可以配置一个web服务。
下载UI组件:WEB UI
下载完成后是一个0.5.2_WEB_UI.zip压缩文件,解压后是一个dist目录。然后添加-ui-dir参数和以-server方式进行启动agent。
ui加载到配置命令:
C:\Users\Administrator\Desktop\consul>consul agent -server -data-dir C:\Users\Administrator\Desktop\consul -node=n3 -bind=10.7.19.148 -dc=dc1 -config-file=web.json -ui-dir C:\Users\Administrator\Desktop\consul\dist
其中-config-file对应的配置文件是web.json,(是以配置文件的方式注册服务)内容格式如下:
{ "log_level": "TRACE", "encrypt": "7TnJPB4lKtjEcCWWjN6jSA==", "service": { "name": "web4", "tags": ["master"], "address": "127.0.0.1", "port": 8500, "checks": [ { "http": "http://127.0.0.1:8500/healthcheck", "interval": "10s" } ] } }
在浏览器中输入http://127.0.0.1:8500,即可访问UI了,其中consul服务,是他自带的服务。
搭建Consul集群:搭建集群最好使用三台以上搭建集群。但现在为了测试集群,我们只使用了两台机器搭建集群。一台是本机,另一台则是服务器。
1、首先远程登陆服务器:以Server模式并指定自己为leader进行启动服务器。我将consul文件拷贝到服务器的c:\consul根目录下。执行命令:
consul agent -server -bootstrap-expect 1 -data-dir C:\consul -node=n1 -bind=10.8.101.6 -ui-dir C:\consul\dist -dc=dc1 -client=0.0.0.0 &
2、本机启动consul,执行命令:
consul agent -server -bootstrap-expect 2 -data-dir C:\Users\Administrator\Desktop\consul -node=n4 -bind=10.7.19.148 -ui-dir C:\Users\Administrator\Desktop\consul\dist -dc=dc1 -client=0.0.0.0 &
在服务器上再开启一个命令窗口,切换到consul文件路径下。执行命令:
consul join 10.7.19.148
成功后,再执行命令:
consul members
会显示两个成员,如下:
本来是打算用两台服务器搭建集群的,但是他们join会失败,显示远程机器拒绝它,入站规则添加了也没有用。因为这是云服务器。所以可能是一些设置问题。
集群搭建起来以后,通过http://127.0.0.1:8500/ui/,我们可以看到两个node节点,分别代表本机和服务器。
从nuget上下载consul包,里面包含consul的所有操作。下载下来进行调试测试。里面的服务注册,服务发现,健康检查,key-value 等所有操作都有对应的方法。
源码地址:https://github.com/PlayFab/consuldotnet/。
参考文献:http://www.cnblogs.com/ruanyifeng/p/5550102.html
http://www.cnblogs.com/ylsforever/p/6110481.html
Consul中文翻译计划:http://consul.la/intro/getting-started/checks