nginx+tomcat+redis 负载均衡配置完整手册

1、概念
   首选明确几个概念：

   并发：所谓并发就是，同时拥有两个或多个线程，如果程序在单核处理器上运行，多个线程将交替地换入或者换出内存，这些线程是同时「 存在 」的，每个线程都处于执行过程中的某个状态，如果运行在多核处理器上，此时，程序中每个线程都将分配到一个处理器核上，因此可以同时运行。也就是说，并发就是多个线程操作相同的物理机中的资源；

   正向代理
   正向代理也是大家最常接触的到的代理模式，如今我们想要访问谷歌查询资料，是没办法直接打开谷歌网址的，这时我们就要找一些国外的代理服务器，所谓的FQ，通过连接代理之后就可以正常访问谷歌了，正向代理最大的特点是客户端非常明确要访问的服务器地址；服务器只清楚请求来自哪个代理服务器，而不清楚来自哪个具体的客户端；正向代理模式屏蔽或者隐藏了真实客户端信息。

   反向代理
   淘宝访问量巨大，单个服务器已难以满足需求，此时出现了大家耳熟能详的名词，分布式部署，也就是通过部署多台服务器来解决访问人数限制的问题，此时用户并不知道访问哪一个服务器，只需要一个淘宝地址即可，反向代理担任的职责就是接受到所有的用户请求，按照一定规则分发个不同的业务处理服务器， 反向代理，主要用于服务器集群分布式部署的情况下，反向代理隐藏了服务器的信息。

   负载均衡
   这里提到的客户端发送的、nginx反向代理服务器接收到的请求数量，就是我们说的负载量 ，请求数量按照一定的规则进行分发到不同的服务器处理的规则，就是一种均衡规则，所以，将服务器接收到的请求按照规则分发的过程，称为负载均衡，负载均衡在实际项目操作过程中，有硬件负载均衡和软件负载均衡两种，硬件负载均衡也称为硬负载，相对造价昂贵成本较高，但是数据的稳定性安全性等等有非常好的保障，更多的公司考虑到成本原因，会选择使用软件负载均衡，软件负载均衡是利用现有的技术结合主机硬件实现的一种消息队列分发机制。

tomcat并发能力

当一个进程有 500 个线程在跑的话，那性能已经是很低很低了。Tomcat 默认配置的最大请求数是 150，也就是说同时支持 150 个并发，当然了，也可以将其改大。

当某个应用拥有 250 个以上并发的时候，应考虑应用服务器的集群。

     具体能承载多少并发，需要看硬件的配置，CPU 越多性能越高，分配给 JVM 的内存越多性能也就越高，但也会加重 GC 的负担。
     操作系统对于进程中的线程数有一定的限制：
              Windows 每个进程中的线程数不允许超过 2000
              Linux 每个进程中的线程数不允许超过 1000
     另外，在 Java 中每开启一个线程需要耗用 1MB 的 JVM 内存空间用于作为线程栈之用。
     Tomcat的最大并发数是可以配置的，实际运用中，最大并发数与硬件性能和CPU数量都有很大关系的。更好的硬件，更多的处理器都会使Tomcat支持更多的并发。
   
2、nginx安装启动
   
  Centos7环境安装nginx，非常简单

sudo yum -y install nginx

  安装好的nginx默认配置 /etc/nginx/nginx.conf, 
  默认端口是80，centos防火墙开放80端口的访问， 

firewall-cmd --zone=public --add-port=80/tcp --permanent
firewall-cmd --reload

  查看nginx.conf配置文件目录

nginx -t 

  返回结果包含配置文件目录
  nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
  nginx: configuration file /etc/nginx/nginx.conf test is successful
  
  启动：

nginx

  这个命令就可以启动nginx服务
  停止

 nginx -s stop 

  重新加载配置  

nginx -s reload

  输入http://服务器IP/ 如果能看到nginx的界面，就表示安装成功了 

3、nginx配置负载均衡
   假设应用服务器已经搭建好，分别是:
   tomcat1: http://10.211.55.5:9988
   tomcat2: http://10.211.55.5:9977
   tomcat3: http://10.211.55.5:9966

   编辑nginx配置
   vim /etc/nginx/nginx.conf

user  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

    upstream tomcat8 {

             server 10.211.55.5:9988;
             server 10.211.55.5:9977;
             server 10.211.55.5:9966;
         }

    server {
        listen       80;
        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;


        location / {
            proxy_set_header Host $host:$server_port;
            proxy_set_header X-Real-IP $remote_addr:;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_pass http://tomcat8;
            proxy_buffering off;
       }

    }

}

有两点是要注意的，upstream配置是与server同级的，第二、proxy_set_header Host 这个配置的端口一定要加上 $server_port

4、session共享
   大多数情况下，多台业务服务器是需要共享session，不然就会出现，登陆成功后，再次刷新获取后面的请求为登陆的错误，这是因为，nginx对每一个请求都做了均衡分发，不能保证登陆之后的每一次请求都分到同一台服务器上； 共享session就可以解决这个问题
   一般有两种方式：
   一、ip_hash技术，nginx中可以配置，当某个ip下的客户端请求指定（固定，因为根据IP地址计算出一个hash值，根据hash值来判断分配给那台服务器，从而每次该ip请求都分配到指定的服务器）的服务器，这样就可以保证有状态请求的状态的完整性，不至于出现状态丢失的情况，一下是nginx的配置

upstream tomcat8 {

             server 10.211.55.5:9988;
             server 10.211.55.5:9977;
             server 10.211.55.5:9966;
             ip_hash
         }

    注意：ip_hash这个方案确实可以保证带有状态的请求的完整性，但是它有一个很大的缺陷，那就是ip_hash方案必须保证Nginx是最前端的服务器（接受真实的ip），如果nginx不是最前端的服务器，还存在中间件（中间服务器什么的），那么nginx获取的ip地址就不是真实的ip地址，那么这个ip_hash就没有任何意义

   二、应用服务器的session保存到redis中
   就是把session保存到数据库中，那么当用户随便操作了些什么就要去数据库验证一下session的状态，这样无疑加重了数据库的压力，所以我们采用redis存储，与业务库分离， 其实这种session共享并不是nginx的机制实现的， 每次nginx分发时仍然是安规则不固定的分到不同的服务器， 但是由于session已保存起来了，那么及时两次两次请求分别分发到的不同的服务器，不可以保存session一致，  下面就说一下tomcat如何配置session共享的：
   开源组件在这里： https://github.com/zhangweijian/TomcatClusterRedisSessionManager， 实测之后发现8.0版本还是可以使用的，但是8.5就不能用了，也有人说从8.3之后就不能用了， 8.5之后catalina.jar已经没有了org.apache.catalina.util.LifecycleSupport这类，启动tomcat的时候会报错。
   把工程克隆下来打包成jar包， 复制到 tomcat/lib目录下， 另外3个依赖的jar，

jedis.jar，

commons-pool2.jar，

commons-logging.jar

   redis配置文件在,可以从工程的resources目录下copy处理的, 放置在 tomcat/conf/RedisDataCache.properties, 文件名不能错。

   修改 tomcat/conf/context.xml  

<Valve className="com.r.tomcat.session.management.RequestSessionHandlerValve" />
<Manager className="com.r.tomcat.session.management.RequestSessionManager" />

   github上另一个项目 https://github.com/jcoleman/tomcat-redis-session-manager  ，这个项目的下载量最大，但是配置方式稍有不同，也可以克隆下来，重新修改一下，但是这个项目明确写明了，不支持tomcat8以上， 有待实际验证；

5、单点登录
   以上已经完整的配置了 nginx+tomcat8+redis 服务架构， 如果要加入单点登录，问题就又复杂化了， 但仔细想来，复杂度不在nginx，而在tomcat的配置， 理清请求的流程，也不难实现， 关键点是在tomcat配置sso的redirectUrl时应该是指向nginx的地址，而不是当前服务器的地址， 也就是说，所有的业务服务的sso配置都是一样的；
   以oauth2为例主要配置参数如下：
   首先 nginx地址：  http://10.211.55.5
       tomcat1地址：http://10.211.55.5:9988
       tomcat2地址：http://10.211.55.5:9977
       tomcat3地址：http://10.211.55.5:9966  
       oauth2地址 ：http://10.211.55.5:5000
   tomcat，oauth主要配置：

auth.clientId=client_id
auth.secretKey=secretKey
auth.authorizationUrl=http://10.211.55.5/oauth/authorize
auth.tokenUrl=http://10.211.55.5/oauth/token
auth.scope=basic essential profile lessons classes students_list
auth.redirectUrl=http://10.211.55.5
auth.profileUrl=http://10.211.55.5/api/me
auth.logoutUrl=http://10.211.55.5/oauth/logout?redirect_uri=http://10.211.55.5

   注意oauth2再注册client的时候也是只有一个，client_url 就是 http://10.211.55.5
   
   cas单点登录也是同理。

   组件及配置文件下载：https://download.csdn.net/download/crazystone4/10928605

6、架构图：