【从零开始搭建后端微服务架构】-02-系统的入口

每一个系统都需要有一个供用户进入的入口，这个入口一般是用来接通公网和内网的通道。它是系统流量的总入口也是系统最前端的哨兵。本篇主要介绍从用户发起请求到负载均衡层的设计。

背景

系统入口的业务

当前系统与外部交互的场景有两个：

1.与终端的交互

当前系统终端有app端（andriod，ios）web端。所有终端主要都通过http协议与服务端交互。

2.与外部系统的交互

当前系统从某种意义上讲也是一个大的数据中台，有可能是提供接口由外部系统调我们接口灌输进来，也可能是我们需要提供接口供外部系统取用数据

流量体量分析

当前系统的流量灌输主要有以下几个方面：

1.外部数据的导入

外部数据会定时从各个地方汇聚到本系统，本场景下流量稳定，不会有流量激增。数据汇聚的频率具体要看每种数据的提供方，但总体来说并不会有很大的流量，唯一有高流量的位置在接收物联网设计的信息，暂定这一块的会产生100次每秒的并发。

2.用户行为

C端，B端，G端用户使用本产品所产生的流量，这部分流量应该从两方面来分析，一方面是预期行为产生的流量，另一方面是非预期行为产生的流量。

预期行为指的是用户在正常使用产品时产生的流量，比如查看首页，修改个人信息，查看药品信息等，这些行为极少会产生突增的流量倾泻，一般是依赖用户数量的增长而增长，依照业务方提供的信息，该企业服务过1亿左右的人，拥有多次消费的忠实用户大约有三百万人。经过业务的测算并考虑到以后的增长，我们以10倍的体量来设计，暂时认定本系统用户基数为3000W，每日产生2000万pv

非预期行为指如秒杀，爆款，明星离婚带来的不确定性用户行为，可能会在某个时间突然激增，这些流量可能会是我们预知的，比如秒杀。也可能是我们未知的比如突然出现爆款等。这些行为的流量就不好测算了，但是要求我们的系统拥有在突发情况下的紧急应对办法。

概要设计

这里我们主要讨论请求到达后端之后的流程，前端和app端的不做考虑。

针对如上的需求，我的设计是入口层分两部分：第一步分为http请求的输入，这一部分主要是用户行为产生的流量，包括预期性性和非预期性行为，请求首先到达第一层负载均衡器lvs，然后再由lvs转发到不同的第二层负载均衡器nginx上，nginx部分分为集群A和集群B，分别用来处理预期性行为和非预期性行为；第二部分为netty服务，用来接收各种各样协议类型的物联网数据。

                                             

 

详细设计

业务要求架构要能适应系统的野蛮生长，所以我整体上采用了两层负载的方案去设计。详细设计分为三个模块：1.第一层负载lvs 2.第二层负载nginx 3.netty服务

第一层负载lvs

对于nginx相信很多人都了解，但是对于lvs可能很多人都不熟悉。它与nginx相同，都是一个开源的软件，但不同点是它是基于的四层负载，而nginx是基于七层负载。我们用lvs做第一层负载，将请求负载到不同的nginx上。这样可以让二层的nginx做水平扩展。并且可以让每个nginx在功能上有所区分，比如nginx1负责业务1，nginx2负载业务2。这样架构就更加灵活了，可以让各个业务互不影响。比如出现秒杀场景时，可以在秒杀开始前增加秒杀场景nginx，即使没来得及增加设备，当前nginx挂掉，其他业务线也可以稳定运行。

*关于四层负载和七层负载这里简单讲解下：

osi网络分层将网络协议分为了七层，从下到上分为物理层，数据链路层，网络层，传输层，会话层，表示层，应用层。每一层都有不同的协议，四层负载是指负载均衡器是根据前四层的协议来决定请求如何分发，也就是基于IP，TCP，IP等协议，根据ip加端口来决定请求如何分发，常见的有lvs和f5。它的速度比七层负载要快，因为不需要再解析请求的5，6，7层协议。七层负载指负载均衡器是根据前七层的协议来决定请求如何分发，常见的有nginx，apache。可以根据具体的应用层协议来决定如何转发请求，功能更多更灵活，但是效率要低于四层负载。

在这一层我们准备两台腾讯云服务器，采用lvs+keepalive来构建一个高可用的第一层负载。

第二层负载均衡nginx

这里我们需要配置两套nginx，一套用来接收用户预期性行为，一套用来接收非预期性的行为。由于在上一层我们使用了lvs，所以我们这一层的nginx可以水平扩容的，它的伸展性特别好，可以根据业务类型新增nginx（新开一条业务线，如果想让这条业务线与其他业务线隔绝，可以为这条业务线新加一套nginx），也可以根据流量大小横向扩展已经存在的nginx集群。

下面我们开始搭建我们的nginx：

1.安装nginx所需要的环境

yum -y install gcc pcre-devel zlib-devel openssl openssl-devel

2.安装nginx

由于nginx是源码包，所以需要编译安装，依次执行下面的命令

./configure --prefix=/usr/local/nginx

make

make install

安装完成后会在/usr/local/nginx目下下生成如下目录

cd /usr/loca/nginx/ ---进入安装目录
./sbin/nginx -t     ---检测是否安装成功

如果出现如下输出证明安装成功

安装成功后我们可以启动nginx啦

/usr/local/nginx/sbin/nginx  --启动nginx

启动成功后我们可以在浏览器输入nginx所在机器的ip来访问了（nginx默认监听80端口，所以直接ip访问即可）

上图为访问ip之后出现的页面，说明我们的nginx已经没有问题了。

下面为了让我们的nginx更加可靠，我们还需要再对nginx做一些配置，附上我的nginx配置文件（负载均衡服务器数量还没有确定，后面根据压测结果确定最终节点数）。

集群A的nginx.conf文件

#######################################################################################
################这里暂时只有一台服务器，大家见谅#######################################
#######################################################################################
#user  nobody;

#设置worker进程的数量，这里设置成于cpu相同
worker_processes  2;

##设置错误日志的输出级别为warn，减轻日志输出的压力
error_log  logs/error.log warn;
##设置pid文件路径
pid        logs/nginx.pid;


events {
    ##使用epoll模型，linux下建议使用epoll
    use epoll;
	##每个worker线城所能接受的最大连接数
    worker_connections  50000;
	##设置网路连接序列化，防止惊群现象发生，默认为on。
	##如果当前机器的worker线城很多的话可以选择置为off，但如果只有几个work线程的话建议为on，当前设为on。
    accept_mutex on;   

}


####################################################################################################################
################对于轮询算法的选择这里推荐：当集群中的机器配置都一致时采用轮询即可##################################
################如果配置不同则采用权重算法，调高配置高的机器的权重。同时如果发送到##################################
################服务的请求有很多比较耗时，可以采用第三方模块nginx-upstream-fair#####################################
####################################################################################################################


http {
    ##设定mime类型,类型由mime.type文件定义
    include       mime.types;
    default_type  application/octet-stream;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #开启自定义错误页面，如果当前是做反向代理的，那必须加这个配置才能自定义错误页面
    proxy_intercept_errors on;


    ##疫苗集群地址，这里为疫苗服务设置了5台机器，因为这里是主打业务。
    upstream vaccine-cluster{
	    ##这里采用默认的轮询算法即可
	    server 172.17.16.4:8021 max_fails=5 fail_timeout=600s;
	    server 172.17.16.4:8022 max_fails=5 fail_timeout=600s;
	    server 172.17.16.4:8023 max_fails=5 fail_timeout=600s;
	    server 172.17.16.4:8024 max_fails=5 fail_timeout=600s;
	    server 172.17.16.4:8025 max_fails=5 fail_timeout=600s;
    }
    ##样本集群地址
    upstream specimen-cluster{
	    ##这里采用默认的轮询算法即可
	    server 172.17.16.4:8031 max_fails=5 fail_timeout=600s;
	    server 172.17.16.4:8032 max_fails=5 fail_timeout=600s;
    }

    ##血液集群地址
    upstream blood-cluster{
	    ##这里采用默认的轮询算法即可
	    server 172.17.16.4:8041 max_fails=5 fail_timeout=600s;
	    server 172.17.16.4:8042 max_fails=5 fail_timeout=600s;
    }

    ##健康管理集群地址，这里为健康管理服务设置了5台机器，因为这里是主打业务。
    upstream healthy-cluster{
	    ##这里采用默认的轮询算法即可
	    server 172.17.16.4:8051 max_fails=5 fail_timeout=600s;
	    server 172.17.16.4:8052 max_fails=5 fail_timeout=600s;
	    server 172.17.16.4:8053 max_fails=5 fail_timeout=600s;
	    server 172.17.16.4:8054 max_fails=5 fail_timeout=600s;
	    server 172.17.16.4:8055 max_fails=5 fail_timeout=600s;
    }


    ##用户集群地址，用户基数比较多，设置了三台
    upstream user-cluster{
	    ##这里采用默认的轮询算法即可
	    server 172.17.16.4:8061 max_fails=5 fail_timeout=600s;
	    server 172.17.16.4:8062 max_fails=5 fail_timeout=600s;
	    server 172.17.16.4:8063 max_fails=5 fail_timeout=600s;
    }
    
    ##静态资源服务器
    upstream static-cluster{
	    ##这里采用默认的轮询算法即可
	    server 172.17.16.4:8071 max_fails=5 fail_timeout=600s;
	    server 172.17.16.4:8072 max_fails=5 fail_timeout=600s;
    }


	##只提供80端口的监听
    server {
        listen       80;
        server_name  localhost;
		
		##设置编码为utf-8
        charset utf-8;
		
		##开启访问日志，用来更好的统计用户访问数据
        access_log  logs/host.access.log  main;
		
		##匹配疫苗服务相关请求
        location ^~/vaccine {
            proxy_pass http://vaccine-cluster;
			proxy_set_header Host $host;
			proxy_set_header X-Real-IP $remote_addr;
			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
			proxy_connection_timeout 30s;
			proxy_send_timeout 30s;
			proxy_read_timeout 30s;
        }
		
		##匹配样本服务相关请求
        location ^~/specimen {
            proxy_pass http://specimen-cluster;
			proxy_set_header Host $host;
			proxy_set_header X-Real-IP $remote_addr;
			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
			proxy_connection_timeout 30s;
			proxy_send_timeout 30s;
			proxy_read_timeout 30s;
        }
		
		##匹配血液服务相关请求
        location ^~/blood {
            proxy_pass http://blood-cluster;
			proxy_set_header Host $host;
			proxy_set_header X-Real-IP $remote_addr;
			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
			proxy_connection_timeout 30s;
			proxy_send_timeout 30s;
			proxy_read_timeout 30s;
        }
		
		##匹配健康管理服务相关请求
        location ^~/healthy {
            proxy_pass http://healthy-cluster;
			proxy_set_header Host $host;
			proxy_set_header X-Real-IP $remote_addr;
			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
			proxy_connection_timeout 30s;
			proxy_send_timeout 30s;
			proxy_read_timeout 30s;
        }
		
		##匹配用户服务相关请求
        location ^~/user {
            proxy_pass http://user-cluster;
			proxy_set_header Host $host;
			proxy_set_header X-Real-IP $remote_addr;
			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
			proxy_connection_timeout 30s;
			proxy_send_timeout 30s;
			proxy_read_timeout 30s;
        }
		
		##匹配数据拉取服务相关请求
        location ^~/transfer {
            proxy_pass http://172.17.16.4:8010;
			proxy_set_header Host $host;
			proxy_set_header X-Real-IP $remote_addr;
			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
			proxy_connection_timeout 30s;
			proxy_send_timeout 30s;
			proxy_read_timeout 30s;

        }

		##状态监控
		location /status {
          stub_status                 on;
          access_log                  off;
		  ##设置允许的ip，只有127.0.0.1和172.16.100.71两台服务器可以访问状态监控
          allow                       127.0.0.1;
		  ##设置允许的ip，只有127.0.0.1和172.16.100.71两台服务器可以访问状态监控
          allow                       172.16.100.71;
		  ##禁止访问，配合allow可以起到白名单的效果
          deny                        all;
		}
		
		##匹配静态资源服务器，这里没有将静态资源放到本nginx本地，因为考虑到后期可能会水平扩展    nginx，所以将静态资源独立存放。
		location ~ .*\.(js|css|html|svg|ico|png|jpg|gif) {
            proxy_pass http://static-cluster;
			root static;
			proxy_connection_timeout 30s;
			proxy_send_timeout 30s;
			proxy_read_timeout 30s;
        }
		
		##如果都没有匹配则禁止访问
		location / {
		  ##禁止访问
          deny                        all;
		}

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

    }



}

#user  nobody;

#设置worker进程的数量，这里设置成于cpu相同
worker_processes  2;

##设置错误日志的输出级别为warn，减轻日志输出的压力
error_log  logs/error.log warn;
##设置pid文件路径
pid        logs/nginx.pid;


events {
    ##使用epoll模型，linux下建议使用epoll
    use epoll;
	##每个worker线城所能接受的最大连接数
    worker_connections  10240;
	##设置网路连接序列化，防止惊群现象发生，默认为on。
	##如果当前机器的worker线城很多的话可以选择置为off，但如果只有几个work线程的话建议为on，当前设为on。
    accept_mutex on;   

}





http {
    ##设定mime类型,类型由mime.type文件定义
    include       mime.types;
    default_type  application/octet-stream;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #开启自定义错误页面，如果当前server是做反响代理的，那么必须加这个配置才能自定义错误页面
    proxy_intercept_errors on;

    ##疫苗预约集群地址，这里为疫苗服务设置了5台机器，因为这里是主打业务。
    upstream vaccine-order-cluster{
	    server 172.17.16.4:8091 max_fails=5 fail_timeout=60s;
	    server 172.17.16.4:8092 max_fails=5 fail_timeout=60s;
	    server 172.17.16.4:8093 max_fails=5 fail_timeout=60s;
	    server 172.17.16.4:8094 max_fails=5 fail_timeout=60s;
	    server 172.17.16.4:8095 max_fails=5 fail_timeout=60s;
    }

	##只提供80端口的监听
    server {
        listen       80;
        server_name  localhost;
		
		##设置编码为utf-8
        charset utf-8;
		
		##开启访问日志，用来更好的统计用户访问数据
        access_log  logs/host.access.log  main;

		##匹配疫苗预约订单服务相关请求
        location ^~/vaccine/order {
            proxy_pass http://vaccine-order-cluster;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

        location / {
            deny  all;
        }
    }


}

 

*：需要为nginx安装http_stub_status_module模块

 

*：nginx的安装和启动都比较方便，值得一提的是，nginx的所有操作都被封装到sbin目录下的nginx脚本里了，不管我们要对nginx做什么操作都可以直接运行这个脚本。下面列出一些常用的命令

./nginx --不带参数表示启动nginx，默认去找conf目录下的nginx.conf配置文件

./nginx -c /usr/local/nginx/conf/nginx.conf   --以指定的配置文件来启动nginx

./nginx -s stop    --停止nginx

/nginx -s reload   --重新加载nginx的配置文件，如果修改了nginx配置可以使用这个命令刷新配置

下期预告

mongodb4.2版本生产集群的搭建