高并发下jmeter性能压测及性能提升解决方案（三）查询优化之多级缓存：Redis+配置

由之前并发场景下我们发现大多数请求耗时都集中在数据库查询上，所以要缩短响应时间，我们就必须优化查询机制，使用跟高效快速的多级缓存技术。

缓存设计原则：

1.用快速存取设备，用内存，但是缺点就是断电即丢失

2.将缓存推到离用户最近的地方

3.脏缓存清理（同步缓存策略）

多级缓存：

一级：redis缓存

二级：热点内存本地缓存

三级：nginx proxy cache缓存

四级：nginx lua缓存

redis缓存：

Nosql模型数据库，作为消息集中式缓存中间件，使用Key-Value方式做数据访问操作，之前是使用memorycache作为消息缓存（基于内存，完全断电即丢失），而redis支持可以配置将数据刷新到磁盘的策略。比如key达到一定数量时即刷新一次磁盘，也可以设置每个一定时间轮询刷新磁盘。这容许一定数据的丢失。

在项目中的位置：

单机模式： 

之前我们使用的是单机版的redis，所有的存取操作都在这台redisServer上面。且和数据库Server是共用的，这就造成了单点瓶颈，如果单节点挂掉，整个项目都有影响，并且单机容量是上限的。无法满足高效存储，于是就有了sentinal哨兵模式。

sentinal哨兵模式：

客户端在做get/set操作时会先去询问哨兵去那个redis节点访问，哨兵机制会先择主节点并返回给客户端服务，然后去访问指定的redis服务器即可。

redis1 出现异常后哨兵机制将进行主备切换： 

如果redis1 master产生异常，心跳机制就会被破快掉，这时哨兵将redis2 指定为master。并将slave指向redis2。这时哨兵会通知客户端产生change，重新产生ask，然后将get/set迁移到redis2。

集群cluster模式：

对于sentinal机制的容量问题也很明显，即使我们把get指定到redis1，把set指定到redis2，进行读写分离，也避免不了master的key足够多给撑爆。在没有cluster前，我们一般使用分片机制。

分片机制： 

 通过hash值计算使用哪台master作为操作几节点。但是这种机制问题也很多，首先，需要程序做复杂的处理去计算，二是如果在加入一片redis5master，就要进行复杂的数据迁移过程。因此就引入cluster模式。

cluster模式：

 在这种模式中，我们有多个redis，它是一个雪花状的集群，我们配置2读2写，这样reids会自动竞选出以哪一个reids作为master，哪一台作为它的slave，并且它和多台redis进行网状的连接。也就是说这台redis知道它的slave是谁，它的其他分片是谁，主从是谁。这些都是基于redis cluster的数据同步+pascal的竞争算法实现的。pascal算法就是当集群中一半以上的节点存活的话，对应的集群任然是可以work的，然后集群会做一次投票，直到半数以上的集群状态达到一致。即认定对应的集群当前的状态就是现在的状态。通过pascal算法，每个节点都会互相感知在集群中的状态。这样程序只需要连接任何一台redis，即可以得到这个集群中所有redi是的信息。并且将这些分片信息维护在自己的内存中。这样get/set操作根据存储的路由位置发送即可。

这样当一台redis挂掉后，集群内部的所哟hash分片都会重新调整，并且将剩下的都保持最新的状态，程序就算根据之前的错误路由信息发送到对应的节点，如果这个节点发现对应的key不属于调整之后的节点，会给程序返回一个reask，需要程序重新获取路由信息。

详细的配置操作实现请见另一篇：springboot整合redis单节点，哨兵，集群cluster可配置版

redis配置详解：

package com.miaoshaProject.config;

import com.fasterxml.jackson.databind.ObjectMapper;
import com.fasterxml.jackson.databind.module.SimpleModule;
import com.miaoshaProject.serializer.JodaDateTimeJsonDeserializer;
import com.miaoshaProject.serializer.JodaDateTimeJsonSerializer;
import org.joda.time.DateTime;
import org.springframework.context.annotation.Bean;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.serializer.Jackson2JsonRedisSerializer;
import org.springframework.data.redis.serializer.StringRedisSerializer;
import org.springframework.session.data.redis.config.annotation.web.http.EnableRedisHttpSession;
import org.springframework.stereotype.Component;

/**
 * @author aric
 * @create 2021-07-14-19:58
 * @fun
 */
@Component
@EnableRedisHttpSession(maxInactiveIntervalInSeconds = 3600)
public class RedisConfig {
    
    @Bean
    public RedisTemplate redisTemplate(RedisConnectionFactory redisConnectionFactory) {
        //springboot中默认的配置方式
        RedisTemplate redisTemplate = new RedisTemplate();
        redisTemplate.setConnectionFactory(redisConnectionFactory);

        //重写springboot自带的redisAutoConfig中redisTemplate的实现
        //首先解决key的序列化方式
        StringRedisSerializer stringRedisSerializer = new StringRedisSerializer();
        redisTemplate.setKeySerializer(stringRedisSerializer);
        //解决value的序列化方式
        Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
        ObjectMapper objectMapper = new ObjectMapper();
        //定制化日期类型乱码处理
        SimpleModule simpleModule = new SimpleModule();
        simpleModule.addSerializer(DateTime.class, new JodaDateTimeJsonSerializer());
        simpleModule.addDeserializer(DateTime.class, new JodaDateTimeJsonDeserializer());
        //定制解析对应实体类参数
        objectMapper.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
        objectMapper.registerModule(simpleModule);
        jackson2JsonRedisSerializer.setObjectMapper(objectMapper);

        redisTemplate.setValueSerializer(jackson2JsonRedisSerializer);
        return redisTemplate;
    }
}

package com.miaoshaProject.serializer;

import com.fasterxml.jackson.core.JsonGenerator;
import com.fasterxml.jackson.databind.JsonSerializer;
import com.fasterxml.jackson.databind.SerializerProvider;
import org.joda.time.DateTime;

import java.io.IOException;

/**
 * @author aric
 * @create 2021-07-19-18:58
 * @fun
 */
public class JodaDateTimeJsonSerializer extends JsonSerializer<DateTime> {
    @Override
    public void serialize(DateTime dateTime, JsonGenerator jsonGenerator, SerializerProvider serializers) throws IOException {
        jsonGenerator.writeString(dateTime.toString("yyyy-MM-dd HH:mm:ss"));
    }
}

package com.miaoshaProject.serializer;

import com.fasterxml.jackson.core.JsonParser;
import com.fasterxml.jackson.core.JsonProcessingException;
import com.fasterxml.jackson.databind.DeserializationContext;
import com.fasterxml.jackson.databind.JsonDeserializer;
import org.joda.time.DateTime;
import org.joda.time.format.DateTimeFormat;
import org.joda.time.format.DateTimeFormatter;

import java.io.IOException;

/**
 * @author aric
 * @create 2021-07-19-18:59
 * @fun
 */
public class JodaDateTimeJsonDeserializer extends JsonDeserializer<DateTime> {
    @Override
    public DateTime deserialize(JsonParser jsonParser, DeserializationContext deserializationContext) throws IOException, JsonProcessingException {
        String dateString = jsonParser.readValueAs(String.class);
        DateTimeFormatter dateTimeFormatter = DateTimeFormat.forPattern("yyyy-MM-dd HH:mm:ss");
        return DateTime.parse(dateString,dateTimeFormatter);
    }
}

配置Redis后的性能压测：

给查询接口增加Redis配置：

    //商品详情页浏览
    @RequestMapping(value = "/get",method = {RequestMethod.GET})
    @ResponseBody
    public CommonReturnType getItem(@RequestParam(name = "id") Integer id){

        //根据商品的id到redis内获取
        ItemModel itemModel = (ItemModel) redisTemplate.opsForValue().get("item_"+id);
        //若redis内不存在对应的itemModel，则访问下游service
        if(itemModel == null){
            itemModel = itemService.getItemById(id);
            //设定itemModel到Redis内
            redisTemplate.opsForValue().set("item_"+id,itemModel);
            //设置失效时间
            redisTemplate.expire("item_"+id,10, TimeUnit.MINUTES);
        }
        return CommonReturnType.create(itemModel);
    }

连接redis服务：

./redis-cli -h ip

 选择表：

select 1

get item_6

使用jmeter进行压测：

可以看出TPS可以达到2000+，平均返回时间也降低了。

查看服务器进程：top -H

 可以看出reids-server占用很低。