Redis分布式缓存下异步双写更新数据删除缓存这两种保持数据一致性的方式导致的缓存问题-----Redis

旧约Alatus

于 2024-08-19 15:02:06 发布

阅读量468

点赞数 15

分类专栏：数据库 # Redis # Spring-Cloud框架文章标签：微服务缓存后端 spring boot mybatis spring cloud 分布式

本文链接：https://blog.csdn.net/2201_75960169/article/details/141325762

版权

数据库同时被 3 个专栏收录

106 篇文章 0 订阅

订阅专栏

Redis

79 篇文章 0 订阅

订阅专栏

Spring-Cloud框架

60 篇文章 0 订阅

订阅专栏

package com.alatus.mall.product.service.impl;

import com.alatus.mall.product.service.CategoryBrandRelationService;
import com.alatus.mall.product.vo.SubCatalogVo;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.TypeReference;
import org.apache.commons.lang.StringUtils;
import org.redisson.api.RLock;
import org.redisson.api.RReadWriteLock;
import org.redisson.api.RedissonClient;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Service;
import java.util.*;
import java.util.concurrent.TimeUnit;
import java.util.stream.Collectors;
import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.baomidou.mybatisplus.core.metadata.IPage;
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import com.alatus.common.utils.PageUtils;
import com.alatus.common.utils.Query;
import com.alatus.mall.product.dao.CategoryDao;
import com.alatus.mall.product.entity.CategoryEntity;
import com.alatus.mall.product.service.CategoryService;
import org.springframework.transaction.annotation.Transactional;

@Service("categoryService")
public class CategoryServiceImpl extends ServiceImpl<CategoryDao, CategoryEntity> implements CategoryService {
    @Autowired
    private CategoryBrandRelationService categoryBrandRelationService;
    @Autowired
    private StringRedisTemplate redisTemplate;
    @Autowired
    private RedissonClient redisson;
    @Override
    public PageUtils queryPage(Map<String, Object> params) {
        IPage<CategoryEntity> page = this.page(
                new Query<CategoryEntity>().getPage(params),
                new QueryWrapper<CategoryEntity>()
        );

        return new PageUtils(page);
    }

    @Override
    public List<CategoryEntity> listWithTree() {
//        查出所有分类
        List<CategoryEntity> entities = baseMapper.selectList(null);
//        组装父子的树形结构
//        找到一级分类
        List<CategoryEntity> levelMenuOne = entities.stream().filter(categoryEntity ->
            categoryEntity.getParentCid() == 0
        ).map((menu) -> {
            menu.setChildren(getChildren(menu,entities));
            return menu;
        }).sorted((menu1,menu2) -> {
            return (menu1.getSort()==null?0:menu1.getSort()) - (menu2.getSort()==null?0:menu2.getSort());
        }).collect(Collectors.toList());
        return levelMenuOne;
    }

    @Override
    public void removeMenuByIds(List<Long> list) {
//        检查当前删除的菜单,是否被别的地方引用
        baseMapper.deleteBatchIds(list);
    }

    @Override
    public Long[] findCatelogPath(Long catelogId) {
        List<Long> paths = new ArrayList<>();
        List<Long> parentPath = findParent(catelogId, paths);
        Collections.reverse(parentPath);
        return (Long[])parentPath.toArray(new Long[parentPath.size()]);
    }

//    级联更新所有数据
    @Override
    @Transactional
    public void updateCascade(CategoryEntity category) {
        this.updateById(category);
        categoryBrandRelationService.updateCategory(category.getCatId(),category.getName());
//        双写:应该同时修改缓存中的数据
//        双写会导致,A线程写入新数据,还没写入完,B线程写入新数据,已经完成了双写,导致最后写入缓存的是A的老数据
//        删缓存:也可以考虑把缓存中的数据删掉的方式,等待下一次查询更新缓存中的数据
//        删缓存会导致A写入数据库,删除了缓存
//        B写入数据库,正在删缓存中,C读取缓存,导致A写入的数据库信息被读取到缓存了
//        B写入数据库后,又删除了A的数据,而C的读取又导致了A的数据被写进缓存
    }

    @Override
    public List<CategoryEntity> getLevelCategories(Integer catLevel) {
        return baseMapper.selectList(new QueryWrapper<CategoryEntity>().eq("cat_level", catLevel));
    }

    private Map<String, List<SubCatalogVo>> getCatalogJsonFromDb(){
//        加入缓存机制
//        缓存中我们一律保存JSON字符串,因为JSON本身也是跨语言跨平台的
        String catalogJSON = redisTemplate.opsForValue().get("catalogJSON");
        if(StringUtils.isEmpty(catalogJSON)){
        //            缓存中没有
            List<CategoryEntity> categories = baseMapper.selectList(null);
        //        所有一级分类
            List<CategoryEntity> levelCategories = getParentCid(categories,0L);;
        //        封装数据
            Map<String, List<SubCatalogVo>> subCatalogVosMap = levelCategories.stream().collect(Collectors.toMap(k -> k.getCatId().toString(),v -> {
                List<CategoryEntity> entities = getParentCid(categories,v.getCatId());
                List<SubCatalogVo> subCatalogVos = null;
                if(entities!=null&&!entities.isEmpty()){
                    subCatalogVos = entities.stream().map(item -> {
//                    找三级分类
                        List<CategoryEntity> inCategories = getParentCid(categories,item.getCatId());
                        SubCatalogVo subCatalogVo = new SubCatalogVo(v.getCatId().toString(),null, item.getCatId().toString(), item.getName());
                        if(inCategories!=null&&!inCategories.isEmpty()){
//                        封装成指定格式
                            List<SubCatalogVo.InCatalogVo> inCatalogVos = inCategories.stream().map(inCategory -> {
                                SubCatalogVo.InCatalogVo inCatalogVo = new SubCatalogVo.InCatalogVo(item.getCatId().toString(),inCategory.getCatId().toString(),inCategory.getName());
                                return inCatalogVo;
                            }).collect(Collectors.toList());
                            subCatalogVo.setCatalog3List(inCatalogVos);
                        }
                        return subCatalogVo;
                    }).collect(Collectors.toList());
                }
                return subCatalogVos;
            }));
//        查到的数据保存到缓存中先
            String jsonString = JSON.toJSONString(subCatalogVosMap);
//        查到的数据放入缓存,将这个对象我们转为JSON
            redisTemplate.opsForValue().set("catalogJSON",jsonString,1, TimeUnit.DAYS);
            return subCatalogVosMap;
        }
        return JSON.parseObject(catalogJSON,new TypeReference<Map<String, List<SubCatalogVo>>>(){});
    }

    // TODO 堆外内存溢出,原因是lettuce使用了netty做网络通信,lettuce的bug导致了我们的堆外内存溢出
//    缓存内的数据要考虑到和数据库的数据一致,需要考虑数据一致性问题
    @Override
    public Map<String, List<SubCatalogVo>> getCatalogJson() {
//        占分布式锁
        RReadWriteLock readWriteLock = redisson.getReadWriteLock("catalogJson-lock");
//        锁的粒度,具体缓存的是某个数据
//        因为如果锁的名字撞了,实际上会导致多个不同的业务用了同一把锁
//        查个菜单列表信息结果要等商品信息数据查询完成
        readWriteLock.readLock().tryLock();
        Map<String, List<SubCatalogVo>> dataFromDb;
        try{
            dataFromDb = getCatalogJsonFromDb();
        }
        finally {
            readWriteLock.readLock().unlock();
        }
        return dataFromDb;
    }

    private List<CategoryEntity> getParentCid(List<CategoryEntity> categories,Long catId) {
        return categories.stream().filter(item -> item.getParentCid().equals(catId)).collect(Collectors.toList());
    }

    private List<Long> findParent(Long catelogId,List<Long> paths){
//        查出当前分类的ID
//        收集当前节点ID
        paths.add(catelogId);
        CategoryEntity id = this.getById(catelogId);
        if(id.getParentCid() != 0){
//            递归查找,每次都从父节点获取
            findParent(id.getParentCid(),paths);
        }
        return paths;
    }

    //    递归查找所有菜单的子菜单
    private List<CategoryEntity> getChildren(CategoryEntity root,List<CategoryEntity> all){
        List<CategoryEntity> children = all.stream().filter(categoryEntity -> {
            return categoryEntity.getParentCid().equals(root.getCatId());
        }).map(categoryEntity -> {
            categoryEntity.setChildren(getChildren(categoryEntity,all));
            return categoryEntity;
        }).sorted((menu1,menu2) ->{
            return (menu1.getSort()==null?0:menu1.getSort()) - (menu2.getSort()==null?0:menu2.getSort());
        }).collect(Collectors.toList());
        return children;
    }

}

package com.alatus.mall.product.service.impl;

import com.alatus.mall.product.service.CategoryBrandRelationService;
import com.alatus.mall.product.vo.SubCatalogVo;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.TypeReference;
import org.apache.commons.lang.StringUtils;
import org.redisson.api.RLock;
import org.redisson.api.RReadWriteLock;
import org.redisson.api.RedissonClient;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Service;
import java.util.*;
import java.util.concurrent.TimeUnit;
import java.util.stream.Collectors;
import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.baomidou.mybatisplus.core.metadata.IPage;
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import com.alatus.common.utils.PageUtils;
import com.alatus.common.utils.Query;
import com.alatus.mall.product.dao.CategoryDao;
import com.alatus.mall.product.entity.CategoryEntity;
import com.alatus.mall.product.service.CategoryService;
import org.springframework.transaction.annotation.Transactional;

@Service("categoryService")
public class CategoryServiceImpl extends ServiceImpl<CategoryDao, CategoryEntity> implements CategoryService {
    @Autowired
    private CategoryBrandRelationService categoryBrandRelationService;
    @Autowired
    private StringRedisTemplate redisTemplate;
    @Autowired
    private RedissonClient redisson;
    @Override
    public PageUtils queryPage(Map<String, Object> params) {
        IPage<CategoryEntity> page = this.page(
                new Query<CategoryEntity>().getPage(params),
                new QueryWrapper<CategoryEntity>()
        );

        return new PageUtils(page);
    }

    @Override
    public List<CategoryEntity> listWithTree() {
//        查出所有分类
        List<CategoryEntity> entities = baseMapper.selectList(null);
//        组装父子的树形结构
//        找到一级分类
        List<CategoryEntity> levelMenuOne = entities.stream().filter(categoryEntity ->
            categoryEntity.getParentCid() == 0
        ).map((menu) -> {
            menu.setChildren(getChildren(menu,entities));
            return menu;
        }).sorted((menu1,menu2) -> {
            return (menu1.getSort()==null?0:menu1.getSort()) - (menu2.getSort()==null?0:menu2.getSort());
        }).collect(Collectors.toList());
        return levelMenuOne;
    }

    @Override
    public void removeMenuByIds(List<Long> list) {
//        检查当前删除的菜单,是否被别的地方引用
        baseMapper.deleteBatchIds(list);
    }

    @Override
    public Long[] findCatelogPath(Long catelogId) {
        List<Long> paths = new ArrayList<>();
        List<Long> parentPath = findParent(catelogId, paths);
        Collections.reverse(parentPath);
        return (Long[])parentPath.toArray(new Long[parentPath.size()]);
    }

//    级联更新所有数据
    @Override
    @Transactional
    public void updateCascade(CategoryEntity category) {
        this.updateById(category);
        categoryBrandRelationService.updateCategory(category.getCatId(),category.getName());
//        双写:应该同时修改缓存中的数据
//        双写会导致,A线程写入新数据,还没写入完,B线程写入新数据,已经完成了双写,导致最后写入缓存的是A的老数据
//        删缓存:也可以考虑把缓存中的数据删掉的方式,等待下一次查询更新缓存中的数据
//        删缓存会导致A写入数据库,删除了缓存
//        B写入数据库,正在删缓存中,C读取缓存,导致A写入的数据库信息被读取到缓存了
//        B写入数据库后,又删除了A的数据,而C的读取又导致了A的数据被写进缓存
    }

    @Override
    public List<CategoryEntity> getLevelCategories(Integer catLevel) {
        return baseMapper.selectList(new QueryWrapper<CategoryEntity>().eq("cat_level", catLevel));
    }

    private Map<String, List<SubCatalogVo>> getCatalogJsonFromDb(){
//        加入缓存机制
//        缓存中我们一律保存JSON字符串,因为JSON本身也是跨语言跨平台的
        String catalogJSON = redisTemplate.opsForValue().get("catalogJSON");
        if(StringUtils.isEmpty(catalogJSON)){
        //            缓存中没有
            List<CategoryEntity> categories = baseMapper.selectList(null);
        //        所有一级分类
            List<CategoryEntity> levelCategories = getParentCid(categories,0L);;
        //        封装数据
            Map<String, List<SubCatalogVo>> subCatalogVosMap = levelCategories.stream().collect(Collectors.toMap(k -> k.getCatId().toString(),v -> {
                List<CategoryEntity> entities = getParentCid(categories,v.getCatId());
                List<SubCatalogVo> subCatalogVos = null;
                if(entities!=null&&!entities.isEmpty()){
                    subCatalogVos = entities.stream().map(item -> {
//                    找三级分类
                        List<CategoryEntity> inCategories = getParentCid(categories,item.getCatId());
                        SubCatalogVo subCatalogVo = new SubCatalogVo(v.getCatId().toString(),null, item.getCatId().toString(), item.getName());
                        if(inCategories!=null&&!inCategories.isEmpty()){
//                        封装成指定格式
                            List<SubCatalogVo.InCatalogVo> inCatalogVos = inCategories.stream().map(inCategory -> {
                                SubCatalogVo.InCatalogVo inCatalogVo = new SubCatalogVo.InCatalogVo(item.getCatId().toString(),inCategory.getCatId().toString(),inCategory.getName());
                                return inCatalogVo;
                            }).collect(Collectors.toList());
                            subCatalogVo.setCatalog3List(inCatalogVos);
                        }
                        return subCatalogVo;
                    }).collect(Collectors.toList());
                }
                return subCatalogVos;
            }));
//        查到的数据保存到缓存中先
            String jsonString = JSON.toJSONString(subCatalogVosMap);
//        查到的数据放入缓存,将这个对象我们转为JSON
            redisTemplate.opsForValue().set("catalogJSON",jsonString,1, TimeUnit.DAYS);
            return subCatalogVosMap;
        }
        return JSON.parseObject(catalogJSON,new TypeReference<Map<String, List<SubCatalogVo>>>(){});
    }

    // TODO 堆外内存溢出,原因是lettuce使用了netty做网络通信,lettuce的bug导致了我们的堆外内存溢出
//    缓存内的数据要考虑到和数据库的数据一致,需要考虑数据一致性问题
    @Override
    public Map<String, List<SubCatalogVo>> getCatalogJson() {
//        占分布式锁
        RReadWriteLock readWriteLock = redisson.getReadWriteLock("catalogJson-lock");
//        锁的粒度,具体缓存的是某个数据
//        因为如果锁的名字撞了,实际上会导致多个不同的业务用了同一把锁
//        查个菜单列表信息结果要等商品信息数据查询完成
        readWriteLock.readLock().tryLock();
        Map<String, List<SubCatalogVo>> dataFromDb;
        try{
            dataFromDb = getCatalogJsonFromDb();
        }
        finally {
            readWriteLock.readLock().unlock();
        }
        return dataFromDb;
    }

    private List<CategoryEntity> getParentCid(List<CategoryEntity> categories,Long catId) {
        return categories.stream().filter(item -> item.getParentCid().equals(catId)).collect(Collectors.toList());
    }

    private List<Long> findParent(Long catelogId,List<Long> paths){
//        查出当前分类的ID
//        收集当前节点ID
        paths.add(catelogId);
        CategoryEntity id = this.getById(catelogId);
        if(id.getParentCid() != 0){
//            递归查找,每次都从父节点获取
            findParent(id.getParentCid(),paths);
        }
        return paths;
    }

    //    递归查找所有菜单的子菜单
    private List<CategoryEntity> getChildren(CategoryEntity root,List<CategoryEntity> all){
        List<CategoryEntity> children = all.stream().filter(categoryEntity -> {
            return categoryEntity.getParentCid().equals(root.getCatId());
        }).map(categoryEntity -> {
            categoryEntity.setChildren(getChildren(categoryEntity,all));
            return categoryEntity;
        }).sorted((menu1,menu2) ->{
            return (menu1.getSort()==null?0:menu1.getSort()) - (menu2.getSort()==null?0:menu2.getSort());
        }).collect(Collectors.toList());
        return children;
    }

}