Redis+Kafka异步提高并发

Redis+Kafka异步提高并发

我们平时开发的后台接口，如果不优化，比如加缓存，异步等，接口并发量很难上得来，因为业务逻辑处理需要时间，后面的请求都在排队，时间一长就都超时了，这就是压力测试经常遇到的问题。简单说就是并发量上不来，那如何提高并发呢。

设计

提高并发通常有几个步骤，而且是循序渐进的。通常我是按如下几个点来优化并逐步测试。
1.优化我们的基本代码
如循环体内多次与数据库交互，涉及查询和修改，这种肯定需要先优化掉，基本原则就是，尽量减少循环体内与数据库交互的次数
2.加缓存，一般如Memcache, Redis
加缓存的目的也是尽量减少与数据库交互的次数
3.异步处理
使用消息队列MQ，将接收到的请求放入队列，然后马上返回给客户端，再由异步线程来处理队列。
基于以上的优化思路，不想提升并发量都难啊。

实现

这里重点介绍下redis+kafka实现异步

提交请求接口

Controller将客户端请求参数放入KafKa队列，参数校验在Controller层完成。并清理redis缓存，标记Redis队列处理未完成，然后返回给客户端。
客户端收到反馈，但并没有获取到结果数据，这时可以尝试轮询获取结果，因为后台结果正在异步处理中

Kafka消费队列

KafKa消费者线程，消费到指定的topic，获取我们放入队列的请求参数，开始调用Service异步处理

异步处理Service

需要注意：异步处理的耗时问题，如果处理时间太长，队列消费会出现堆积现象，要想办法提高队列处理速度，才能从根本上提高并发。
提高队列的处理速度，无外乎上面提到的基本代码优化和缓存

客户端轮询获取结果

提交请求后，因为后台立即返回接收数据成功，所以前端需要间隔轮询获取打卡结果，比如1秒请求一次循环10次还拿不到结果，说明后台队列处理失败了

Redis集群节点配置

    redis:
        cluster:
            max-redirects:
            # 集群节点
            nodes: xxx.xxx.xxx.xx1:6378, xxx.xxx.xxx.xx1: 6379, xxx.xxx.xxx.xx2: 6378, xxx.xxx.xxx.xx2: 6379, xxx.xxx.xxx.xx3: 6378, xxx.xxx.xxx.xx3: 6379
        # 密码
        password: xxxxxx
        # ssl
        ssl: false
        jedis:
            pool:
                max-active: -1
                max-idle: 8
                max-wait: -1
                min-idle: 0
        timeout: 10000

KafKa集群节点配置

   kafka:
        bootstrap-servers: xxx.xxx.xxx.xxx:9092, xxx.xxx.xxx.xxx:9092, xxx.xxx.xxx.xxx:9092
        producer:
            key-serializer: org.apache.kafka.common.serialization.StringSerializer
            value-serializer: org.apache.kafka.common.serialization.StringSerializer
        consumer:
            group-id: check-consumer-group-prd
            enable-auto-commit: false
            auto-offset-reset: earliest
            key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
            value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
        listener:
            concurrency: 6

我们生产服务器都是双节点，这里Kafka消费者单个节点配置的是6个消费者，总共是12个消费者线程同时消费队列

压力测试

压力测试使用Jemter

作者介绍：小林，狐小E资深开发工程师，专注移动协同办公平台的SAAS软件开发以及轻应用开发
最近开发了一款移动办公软件狐小E