常用缓存技巧

程序员麻辣烫

已于 2022-06-01 15:35:33 修改

阅读量501

点赞数 1

分类专栏：存储架构文章标签：后端

于 2020-06-15 14:24:47 首次发布

本文链接：https://blog.csdn.net/shida219/article/details/106761714

版权

架构同时被 2 个专栏收录

51 篇文章 16 订阅

订阅专栏

存储

21 篇文章 0 订阅

订阅专栏

简介

在项目中，大家经常会遇到处理高并发的情况，缓存是应对高并发的有效手段之一。这篇文章简单介绍一下常用的缓存手段。当然，使用缓存有一个前提：数据不是实时变更的。

方法

一、CDN

CDN一般用来做静态资源的缓存，但是稍微进行修改，便可以用来缓存动态接口的返回。当请求资源在CDN不存在时，请求会到回源机上，在回源机的Nginx上，根据路由规则，将请求转发到不同服务，返回结果会存在到CDN上。如下图所示：

在这里插入图片描述

Nginx实现

upstream fs.com_backend {
    server   127.0.0.1:8080 weight=1 max_fails=2 fail_timeout=10s;
    check interval=3000 rise=3 fall=3 timeout=1000 type=tcp default_down=false;
}

upstream hd.com_upstream {
    server   127.0.0.1:8080 weight=1 max_fails=2 fail_timeout=10s;
    check interval=3000 rise=3 fall=3 timeout=1000 type=tcp default_down=false;
}

server {
        listen       8080;
        server_name  aaa.d2s.com;
        charset utf-8;

        access_log /home/work/logs/nginx/d2s.com.log web;
        error_log /home/work/logs/nginx/d2s.com.log.err;

        error_page   403 404 500 502 503 504  http://hd.com/webfile/zt/hd/2014042802/tw.html;

        expires -1;

        location ~ /.git {
            deny all;
            access_log off;
            log_not_found off;
        }

        location ~ /([^/]*)/openbuy/info {
            expires 300s;
            proxy_set_header Host "****";
            proxy_set_header X-Forwarded-For $remote_addr;
            proxy_pass http://fs.com_backend;
        }

        location ~ /([^/]*)/eventapi/ {
            rewrite /(.*)/eventapi/(.*) /$1/$2 break;
            expires 300s;
            proxy_set_header Host "****";
            proxy_set_header X-Forwarded-For $remote_addr;
            proxy_pass http://hd.com_upstream;
        }
}

注意事项

注意流量

正常情况下，回源的请求会比较少，但某些情况下，会导致请求激增，如市场在google上推了广告，请求后面会添加很多数据，如果CDN没有做处理，这些请求都会穿透CDN打到回源机上，导致请求暴增。如果服务性能有限，不但会导致该服务受影响，该Nginx上的其他功能可能也会受影响。
注意稳定性

因为请求会转发到服务上，如果服务不稳定，返回的数据有误或者服务500了，Nginx没做任何判断便返回，会导致一段时间内，用户请求的数据全是错误的。这种情况一旦发生，反馈到开发的时候，因为CDN缓存失效，重新获取了正确数据，此时症状已经消失，开发很难定位问题。建议在Nginx上添加相关正确性的校验。

二、Nginx缓存

Nginx也能缓存返回的结果，而且由于Nginx本身能够支持较高的并发，且易于配置，所以使用Nginx缓存是一个及其方便有效的手段。

Nginx部分实现

server {
  listen 80;
  #listen 445;
  server_name  abc.com;

  access_log /home/work/logs/nginx/abc.com.log albproxy;
  error_log /home/work/logs/nginx/abc.com.err;

  #include vhosts/black.ini;

  error_page   403 404 500 502 503 504  http://promo.com/webfile/globalweb/$local/404.html;


  if ($app_uri ~* "^(hello/getstock.*)"){
    set $cache_rewrite "nginxcache3s";
  }

  location ~* ^/[^/]*/nginxcache3s/.* {
    proxy_pass_header X-Accel-Expires;
    rewrite ^/([^/]*)/nginxcache3s/(.*)$ /$1/$2 break;

    proxy_cache cache_one;
    proxy_cache_valid 200 3s;
    proxy_cache_key $host$uri;
    proxy_ignore_headers Expires Cache-Control;

    proxy_set_header Host  $host;
    set_real_ip_from   10.0.0.0/8;
    real_ip_header     X-Forwarded-For;
    proxy_set_header   X-Real-IP        $remote_addr;
    real_ip_recursive on;
    proxy_set_header X-Forwarded-For  $http_x_forwarded_for;
    #后端标识ssl请求
    proxy_set_header Missl $sslparam;
    proxy_set_header LOGID $logid;
    proxy_pass http://web_backend;
  }
}

注意事项

慎重使用

使用Nginx缓存确实很方便，也可以迅速提高接口性能，可以说是居家旅行必备良药。不过这些操作一般需要运维同学帮忙操作，如果频繁使用该方法，一是占用了运维很多时间做这种重复性工作，二是操作的过程中可能出现各种问题，三是会导致Nginx文件很繁杂，后期迁移和维护成本会较高。

三、 Redis

Redis是处理高并发情况的必备方案之一。一般的处理过程如下：

在这里插入图片描述

注意事项

缓存穿透

如果Redis没有数据，获取数据的时候也没有数据，这个时候，如果没有将结果写入Redis，则每次请求都会穿透Redis。建议
- 获取数据为空的情况下，也存数据
- 增加基础校验
缓存击穿

如果有个key位热点key，请求qps特别高，当该key失效的时候，大量的请求会到逻辑层，导致服务不稳定，建议
- 热点数据设置为永不过期。可以使用脚本等方案异步更新数据。
- 加互斥锁。如果key不存在，则只允许一个请求进入逻辑层。
缓存雪崩

如果大量key在同一时间过期，所有请求都会到逻辑层，导致服务不稳定，建议
- 缓存数据的过期时间设置随机，防止同一时间大量数据过期现象发生
- 如果缓存数据库是分布式部署，将热点数据均匀分布在不同的缓存数据库中
- 热点数据设置为永不过期