微服务之负载均衡

最新推荐文章于 2024-08-02 00:23:16 发布
最新推荐文章于 2024-08-02 00:23:16 发布
阅读量2.6k 收藏 5
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fanyamin/article/details/103160802
版权

微服务都是分布式系统, 多个服务工作在一起齐心协力完成所需的工作, 事情不能交给一个人做, 所工作分担到多个微服务上是为负载均衡.

负载均衡策略

负载均衡 Load Balance 是最基本的分流策略, 将负载尽量均匀地分布到下游节点上, 但是如何分派, 是有讲究的.

大致有以下四种基本策略:

  • ROUND_ROBIN 均匀分配
    周而复始地循环依次地选择一个个节点来分配负载, 保持每个节点具有相同的负载
    它还有一个加强版, 可以为节点设置不同的权重

  • LEAST_CONNECTIONS 最少连接
    根据客户端建立的连接数选择节点, 连接数量最少的节点将被选中.

  • LEAST_RESPONE_TIME 最短响应时间
    根据服务器端对从客户端请求的响应时间长短, 响应最快的节点将被选中.

  • SOURCE_IP 源地址哈希
    根据客户端的IP地址计算哈希值，然后使用哈希值进行路由, 这可确保即使面对断开的连接，来自同一客户端的请求也始终会转到同一服务器。

上述四种负载均衡策略一般都会加上健康检查功能, 定时查询下游节点的健康状态, 如果没有响应或者响应错误则在分派候选名单剔除这个节点, 直到节点恢复健康

负载均衡方法

DNS

DNS 会将域名映射为 IP 地址, 假设你有三台 server, 域名(Domain Name)为 www.mysite.com, DNS(Domain Name System) 会根据你的注册信息按照轮转的方式返回这三台 server 列表, 例如

www.mysite.com
解析为:
192.168.1.1
192.168.1.2
192.168.1.3

这个列表可以是变化的, 每次请求把上次列表的第一个放到最后

www.mysite.com
解析为:
192.168.1.2
192.168.1.3
192.168.1.1

可以用 nslookup 或 dig 命令查询域名和它实际映射的服务地址

nslookup baidu.com
Server:     64.104.123.245
Address:    64.104.123.245#53

Non-authoritative answer:
Name:   baidu.com
Address: 123.125.115.110
Name:   baidu.com
Address: 220.181.57.216

dig 命令显示的内容更多一些, 还可以加上 +trace 选项来显示DNS所查询用到服务器路径

$ dig cisco.com

; <<>> DiG 9.8.3-P1 <<>> cisco.com
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 3992
;; flags: qr aa rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 3, ADDITIONAL: 6

;; QUESTION SECTION:
;cisco.com.         IN  A

;; ANSWER SECTION:
cisco.com.      5   IN  A   72.163.4.161

;; AUTHORITY SECTION:
cisco.com.      1800    IN  NS  ns1.cisco.com.
cisco.com.      1800    IN  NS  ns3.cisco.com.
cisco.com.      1800    IN  NS  ns2.cisco.com.

;; ADDITIONAL SECTION:
ns1.cisco.com.      600 IN  A   72.163.5.201
ns2.cisco.com.      1800    IN  A   64.102.255.44
ns3.cisco.com.      1800    IN  A   173.37.146.41
ns1.cisco.com.      1800    IN  AAAA    2001:420:1101:6::a
ns2.cisco.com.      1800    IN  AAAA    2001:420:2041:5000::a
ns3.cisco.com.      1800    IN  AAAA    2001:420:1201:7::a

;; Query time: 169 msec
;; SERVER: 64.104.123.245#53(64.104.123.245)
;; WHEN: Sat Nov 10 18:24:42 2018
;; MSG SIZE  rcvd: 229

DNS 作为负载均衡固然简单，可是 DNS 缺点也不少

  1. DNS 是一个分级系统， 本地域名服务器若查不到相应记录， 会向上级域名服务器查询，查到结果后在本地缓存至 TTL 时间过期

  2. DNS 也会在本地缓存， 客户端解析域名为IP 之后可能一直使用很长时间, 对于客户端的行为你无法控制
    DNS 解析速度并不快， 你要是把 TTL 设置得太小，缓存很快过期， 性能问题就会凸显

  3. DNS 在实时检测分流， 为域名实时添加和删除服务器方面很不方便，即使你能很快地搞定你的内部 DNS 系统，你依然需要等待在下级域名服务器和客户端的缓存过期

所以 DNS 通常就作为第一级负载均衡方案， 采用简单的 Round Robbin 策略，映射到几个 VIP 上

DNS SRV

服务记录（SRV记录）是域名系统中的数据规范，其定义用于指定服务的服务器的位置，即主机名和端口号。 它在RFC 2782中定义，其类型代码为33. 某些Internet协议（如会话初始协议（SIP）和可扩展消息传递和在线协议（XMPP））通常需要网络元素支持SRV。

一个 SRV 的记录格式如下:

_service._proto.name. TTL class SRV priority weight port target.
  • service: 服务名称，比如 sip, xmpp, 等等等 the symbolic name of the desired service.
  • proto: 传输层的协议，TCP 或 UDP
  • name: 与之相对应的有效域名, 以 . 结束
  • TTL: 标准的 DNS 生存时间 (Time To Live)
  • class: 标准的 DNS 类别 (这里总是 IN)
  • priority: 目的服务器的优先级, 数值越低代表优先级越高
  • weight: 权重, 相同优先级的一个相对权重值, 数值越大,权重越高
  • port: 该服务所用的 TCP 或 UDP 的端口
  • target: 提供该服务的规范的主机名称, 以 . 结尾

例如以下的 sip 服务的 DNS SRV

_sip._tcp.example.com. 86400 IN SRV 0 5 5060 sipserver.example.com.

常用命令

可以用 dig 和 nslookup 来查看 DNS SRV 的具体信息

$ dig _sip._tcp.example.com SRV

$ host -t SRV _sip._tcp.example.com

$ nslookup -querytype=srv _sip._tcp.example.com

$ nslookup
> set querytype=srv
> _sip._tcp.example.com

服务器端负载负载

局部与全局负载均衡

SLB(Server load balancing)是对集群内物理主机的负载均衡，而GSLB是对物理集群的负载均衡。
这里的负载均衡可能不只是简单的流量均匀分配,而是会根据策略的不同实现不同场景的应用交付。

GSLB(Global server load balancing) 是依赖于用户和实际部署环境的互联网资源分发技术，不同的目的对应着一系列不同的技术实现 - 基于DNS实现、基于重定向实现、基于路由协议实现。

如图所示

1598924-77b26b32fc5ea75a.png

  1. 用户的客户端 Client 向 DNS server 查询 mysite.com 的地址

  2. DNS server 返回域名所对应的服务器地址
    2.1 用户向本级配置的本地DNS服务器发出查询请求，如果本地DNS服务器有该域名的缓存记录，则返回给用户，否则进行下一步；
    2.2 本地DNS服务器进行递归查询，最终会查询到域名注册商处的授权DNS服务器
    2.3 授权DNS服务器返回一条NS记录给本地DNS服务器。这条NS记录可能是指向随机一个GSLB设备的接口地址或者是所有GSLB设备的接口地址；
    2.4 本地DNS服务器向其中一个GSLB地址发出域名查询请求，如果请求超时会向其它地址发出查询；
    2.5 GSLB设备选出最优解析结果，返回一条A记录给本地DNS服务器。根据全局负载均衡策略设定的不同可能返回一个或多个VIP地址；
    2.6 本地服务器将查询结果通过一条A记录返回给用户，并将缓存这条记录。

此例中由于client 和 数据中心 DC1 在一个区域, 响应更快, GSLB 选出 DC 1 的 Float VIP

  1. 用户连接 Float VIP, 它是一个飘移的虚拟地址, 当主集群健康时时候就分派请求到主集群 Primary LB 的负载均衡器地址, 否则就连到备份集群 Backup LB

  2. 数据中心1的主集群被选中, 请求分派到主集群 Primary LB 负载均衡器地址

  3. 主集群负载均衡器 Primary LB 将请求分派到一个选中的应用程序服务器 AppServer

负载均衡设备及软件

硬件一般选用的比较多的有 Citrix Netscalar, Cisco ACE, F5 等等, 性能强劲, 功能强大, 从传输层到应用层完美支持, 就是价格不菲.
软件方面就我所知, 开源的 HAProxy 和 Nginx 都很常见, 现在基于云端的负载均衡也渐渐多了起来

下面重点讲讲如下两个软件版本的负载均衡软件, 先用 Python Flask 写一个最简单的应用

  • vi app.py
from flask import Flask, Response
import optparse

app = Flask(__name__)
counter = 0

@app.route("/")
def hello():
    global counter
    counter = counter + 1
    return Response("Hits: %d" % counter)


if __name__ == "__main__":

    parser = optparse.OptionParser()

    parser.add_option('-p', '--port',
        action="store", dest="port",
        help="listen port", default="5000")

    options, args = parser.parse_args()

    print('listen port:', options.port)

    app.run("0.0.0.0", port=options.port, debug=True)
  • vi requirements.txt
Flask>=0.12.2

以 ubuntu 系统为例, 运行如下命令在 5001 和 5002 两个端口分别启动这个小服务

virtualenv -p python3 venv
pip install -r requirements.txt
python app.py 5001 &
python app.py 5002 &

下面我们在 ubuntu 系统上分别用 nginx 和 haproxy 来做负载均衡

Nginx

它是著名的 web server , 由于性能卓越, 也常用来做 HTTP 层的反向代理和负载均衡

  • 安装
    apt install nginx

  • 配置

vi /etc/nginx/nginx.conf

# Nginx configuration

upstream wiki_app_server {
    server 127.0.0.1:5001 weight=1 max_fails=2 fail_timeout=30s;
    server 127.0.0.1:5002 weight=1 max_fails=2 fail_timeout=30s;
}

server {

    listen 80 default_server;
    listen [::]:80 default_server;

    server_name localhost;
    index index.html;

    error_log  /var/log/nginx/error.log;
    access_log /var/log/nginx/access.log;
    root /workspace/walter/wfnote/site;

    
    location /wiki/
    {
        proxy_pass [http://wiki_app_server;](http://wiki_app_server)
        proxy_set_header Host $host:$server_port;
        proxy_set_header X-Forwarded-For $remote_addr;
    }
}

  • 启动
    /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg

  • 使用
    访问 http://127.0.0.1

第一次请求, 显示 Hits: 1
第二次请求, 显示 Hits: 1
第三次请求, 显示 Hits: 2
第四次请求, 显示 Hits: 2

HAProxy

HAProxy 可以说是最流行的负载均衡软件, 它不同于 nginx , 专注于代理和流量分派, 在传输层和应用层都有比较好的支持

  • 安装
    apt install haproxy

  • 配置

vi /etc/haproxy/haproxy.cfg

global
    log 127.0.0.1 local0 notice
    maxconn 2000
    user haproxy
    group haproxy

defaults
    log     global
    mode    http
    option  httplog
    option  dontlognull
    retries 3
    option redispatch
    timeout connect  5000
    timeout client  10000
    timeout server  10000

listen appname 0.0.0.0:80
    mode http
    stats enable
    balance roundrobin
    option httpclose
    option forwardfor
    server lamp1 127.0.0.1:5001 check
    server lamp2 127.0.0.1:5002 check

  • 启动
    /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg

  • 使用
    访问 http://127.0.0.1

第一次请求, 显示 Hits: 1
第二次请求, 显示 Hits: 1
第三次请求, 显示 Hits: 2
第四次请求, 显示 Hits: 2

客户端负载均衡

在客户端使用配置的若干个接入点, 在客户端使用轮询的策略进行访问, 比如Cassandra 或 Kafka 在启动时只需配置两三个接入点的地址, 之后会从服务器端拿到整个集群的地址, 在客户端根据预设的负载均衡策略来访问相应的节点.

Spring Cloud Ribbon 是 Netflix 开源的一个基于Http和TCP的客户端负载均衡工具，可与服务注册中心 Eureka 集成, 拿到注册的服务器地址列表后, 根据设定的规则进行客户端的负载均衡.

参考资料

fanyamin
关注
微服务(Spring Cloud)——负载均衡
qq_42282792的博客
03-19 6829
一、概述 负载均衡 组件库: Spring Cloud Netflix 组件库 组件： Ribbon 二、负载均衡介绍 （一）、什么是负载均衡 负载均衡建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。 负载均衡（Load Balance）其意思就是分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务。—— 百度百科 （二）、微服务中客户端负载均
微服务之负载均衡 Feign和Ribbon的使用区别
灵越启航
12-07 1471
一、 ribbon和feign都是客户端的提供负载均衡的工具，feign集合了ribbon 二、Ribbon和Feign都是用于调用其他服务的，不过方式不同。 1.启动类使用的注解不同，Ribbon用的是@RibbonClient，Feign用的是@EnableFeignClients。 2.服务的指定位置不同，Ribbon是在@RibbonClient注解上声明，Feign则是在定义抽象方法的接...
Dubbo中的负载均衡
Melody_1943的博客
06-23 694
在实际开发中,一个服务基本都是集群模式的,也就是多个功能相同的项目在运行,这样才能承受更高的并发这时一个请求到这个服务,就需要确定访问哪一个服务器Dubbo框架内部支持负载均衡算法,能够尽可能的让请求在相对空闲的服务器上运行我们要实现设置好负载均衡的策略算法,并设置好每个服务器的运行权重才能更好的实现负载均衡的效果Loadbalance:就是负载均衡的意思Dubbo内置4种负载均衡算法实际运行过程中,每个服务器性能不同在负载均衡时,都会有性能权重,这些策略算法都考虑权重问题随机生成随机数在哪个范围内让哪个服
微服务系列之负载均衡
最新发布
小迅先生的博客
08-02 1162
本章主要介绍微服务的负载均衡相关实现及源码分析
微服务的负载均衡
m0_60213304的博客
03-10 3237
负载均衡指的是服务端（即使Nginx作为服务端，控制对多台tomcat进行负载均衡），使每个tomcat对于访问请求的负载均衡。 Bibbon是一个框架，提供负载均衡的算法，它的负载均衡是指的consumer对于provider的负载均衡 服务清单 服务清单就是ip地址+端口号（就是在注册中心看到的客服端的信息） 如何使用Ribbon 在RestTemplate对象上使用@roadBalanced开启负载均衡 RestTemplate对象有四种访问方式（get、post、put、delete
微服务篇之负载均衡
冲鸭的博客
02-20 1088
1. RoundRobinRule：简单轮询服务列表来选择服务器。 2. WeightedResponseTimeRule：按照权重来选择服务器，响应时间越长，权重越小。 3. RandomRule：随机选择一个可用的服务器。 4. BestAvailableRule：忽略那些短路的服务器，并选择并发数较低的服务器。 5. RetryRule：重试机制的选择逻辑。 6. AvailabilityFilteringRule：可用性敏感策略，
第二节 微服务之负载均衡组件Ribbon1
08-03
【第二节 微服务之负载均衡组件Ribbon1】 在微服务架构中，负载均衡是确保服务高可用和性能的关键组成部分。本节将深入探讨两种主要的负载均衡实现方式：服务端负载均衡和服务端负载均衡，并重点讲解Spring Cloud ...
SpringCloud微服务负载均衡与网关
01-11
这篇博客文章深入探讨了SpringCloud中的微服务负载均衡与网关这两个核心概念，下面我们将详细展开讨论。 首先，我们来看“微服务负载均衡”。在微服务架构中，每个服务可能有多个实例运行在不同的服务器上，以提高...
微服务之负载均衡器
weixin_47480200的博客
06-10 1154
Spring Cloud Ribbon是基于Netflix Ribbon 实现的一套客户端的负载均衡工具，Ribbon 客户端组件提供一系列的完善的配置，如超时，重试等。通过Load Balancer获取到服务提 供的所有机器实例，Ribbon会自动基于某种规则(轮询，随机)去调用这些服务。Ribbon也可以实现我们自己的负载均衡算法RestTemplate 添加@LoadBalanced注解让RestTemplate在请求时拥有客户端负载均衡的能力@Bean。
springboot 微服务负载均衡
01-24
用springboot实现负载均衡，https访问对外端口，内网实现服务和服务提供者。
微服务——服务负载均衡
Pigeon
10-23 413
1.启动多个端口号服务 修改yml文件内的端口号，则可启动多个tomcat 2.编辑controller ribbon Irule @LoadBalanced 此注解描述RestTemplate对象时，使用RestTemplate对象发起远程调用时，底层会对这个请求进行拦截，会基于LoadBalancerClient对象获取服务实例， 然后进行负载均衡方式的调用 LoadBalancerInterceptor Feign 背景：url拼接 客户端的WEB服务 1.在Concumer工程中添加依赖 封装了
微服务负载均衡 Ribbon
qq_43663493的博客
11-11 2205
微服务负载均衡 什么是Ribbon? 目前的主流负载方案分为以下两种： 1，集中式负载均衡，在消费者和服务提供方中间使用独立的代理方式进行负载，有硬件的（比如 F5），也有软件的（比如Nginx）。 2，客户端根据自己的请求情况做负载均衡，Ribbon 就属于客户端自己做负载均衡 Spring Cloud Ribbon是基于Netflix Ribbon 实现的一套客户端的负载均衡工具，Ribbon客户端组件提供一系列的完善的配置，如超时，重试等。通过Load Balancer获取到服务提供的所有机器实例，
Java 微服务中的负载均衡
tumu6889的博客
06-23 2067
负载均衡
微服务初探-之负载均衡
u012802827的博客
07-17 298
在微服务架构中，需要几个基础的服务治理组件，包括（服务注册与发现、服务消费、负载均衡、断路器、智能路由、配置管理）等，由这几个基础组件相互协作，共同组建了一个简单的微服务系统。一个简答的微服务系统如下图 注意：A服务和B服务是可以相互调用的，并且配置服务也是注册到服务注册中心的。 在Spring Cloud微服务系统中，一种常见的负载均衡方式是，客户端的请求首先经过负载均衡（zuu...
微服务系列（3）- Ribbon负载均衡
兀坐晴窗独饮茶
04-20 699
1. Ribbon负载均衡 1.1 负载均衡原理 SpringCloud底层其实是利用了一个名为Ribbon的组件，来实现负载均衡功能的。 1.2 负载均衡源码 原理 : LoadBalancerInterceptor 类会对RestTemplate的请求进行拦截. 然后从Eureka根据服务id获取服务列表，随后利用负载均衡算法得到真实的服务地址信息，替换服务id。 浏览器发出请求后, 先被 LoadBalancerInterceptor 的 intercept 所拦截 // LoadBalanc
【微服务网关——负载均衡】
qq_45467608的博客
06-19 1160
根据不同的权重给于不同的概率，权重往往与地域、服务器的性能相关。可以通过random函数来随机选择一个ip。
python微服务框架负载均衡
06-20
Python 微服务架构中，负载均衡是一个关键组件，用于将流量分散到多个服务实例上，以提高系统的可用性和响应能力。在Python中，有许多库和工具可以帮助实现微服务的负载均衡，例如： 1. **Flask-RESTX** 和 **Fast...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值