电商项目04

最新推荐文章于 2022-10-26 08:00:00 发布
最新推荐文章于 2022-10-26 08:00:00 发布
阅读量264 收藏
点赞数
分类专栏： 电商项目
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43335710/article/details/118858727
版权

文章目录

一、秒杀系统-商品详情页多级缓存（三）

二、后台缓存优化

在这里插入图片描述
一个网站的性能好与坏，网络IO和磁盘IO这两快的影响是比较大的。我们现在引入缓存目的是提高网站的性能，其实本质是不走磁盘走内存减少了磁盘IO来提高性能，但是我们有么有关系过，我们也增加了网络的操作。那这块我们能不能也优化了。
思路：
把商品数据都缓存到本地缓存里面。

三、引入本地缓存

Concurrenthashmap有什么问题？
数据一直在增加，所有数据都放在内存中，内存有容量大小的，内存总有一天会爆掉，所以要设置过期时间，写一个过期时间算法。引入gava缓存。

private Map<String,PmsProductParam> cacheMap = new ConcurrentHashMap<>();

productInfo = cacheMap.get(RedisKeyPrefixConst.PRODUCT_DETAIL_CACHE + id);
//一级缓存
if(productInfo != null){
    return productInfo;
}
//从二级缓存Redis里找
productInfo = redisOpsUtil.get(RedisKeyPrefixConst.PRODUCT_DETAIL_CACHE+id,PmsProductParam.class);
if(productInfo!=null){
    cacheMap.put(RedisKeyPrefixConst.PRODUCT_DETAIL_CACHE+id,productInfo);
    return productInfo;
}

else{
  //缓存到一级缓存
  cache.put(RedisKeyPrefixConst.PRODUCT_DETAIL_CACHE + id, productInfo);
}

四、Java本地缓存不足

可以缓存，如果有些商品访问越来越少，这个时候不需要缓存了，那请问我现在的本地缓存如何清理掉了？有同学说可以用map中的remove，如果直接用可以清楚掉吗?是可以删除，但是你怎么知道哪些数据是删除的哪些数据是不需要删除的了？这是不是得一个算法来统计下这个访问量，然后根据排序来选择删除部分数据.

五、引入gava缓存

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>22</version>
</dependency>

利用guava的缓存：

com.example.mall.component.LocalCache

1、设置最大容量 30%-40%就差不多了
2、初始化容量
3、缓存过期

采用LRU淘汰策略

private void init(){
	localCache = CacheBuilder.newBuilder()
	//设置本地缓存容器的初始容量
	.initialCapacity(10)
	//设置本地缓存的最大容量
	.maximumSize(500)
	//设置写缓存后多少秒过期
	.expireAfterWrite(60,TimeUnit.SECONDS).build();
}

1、先查本地缓存 没有磁盘 io 网络
2、Redis 有网络IO
3、数据库 有网络IO，磁盘IO

    public PmsProductParam getProductInfo4(Long id) {
        PmsProductParam productInfo = null;
        productInfo = cache.get(RedisKeyPrefixConst.PRODUCT_DETAIL_CACHE + id);
        if (null != productInfo) {
            return productInfo;
        }
        productInfo = redisOpsUtil.get(RedisKeyPrefixConst.PRODUCT_DETAIL_CACHE + id, PmsProductParam.class);
        if (productInfo != null) {
            log.info("get redis productId:" + productInfo);
            cache.setLocalCache(RedisKeyPrefixConst.PRODUCT_DETAIL_CACHE + id, productInfo);
            return productInfo;
        }
        RLock lock = redission.getLock(lockPath + id);
        try {
            if (lock.tryLock()) {
                productInfo = portalProductDao.getProductInfo(id);
                if (null == productInfo) {
                    return null;
                }
                checkFlash(id, productInfo);
                log.info("set db productId:" + productInfo);
                redisOpsUtil.set(RedisKeyPrefixConst.PRODUCT_DETAIL_CACHE + id, productInfo, 3600, TimeUnit.SECONDS);
                cache.setLocalCache(RedisKeyPrefixConst.PRODUCT_DETAIL_CACHE + id, productInfo);
            } else {
                log.info("get redis2 productId:" + productInfo);
                productInfo = redisOpsUtil.get(RedisKeyPrefixConst.PRODUCT_DETAIL_CACHE + id, PmsProductParam.class);
                if (productInfo != null) {
                    cache.setLocalCache(RedisKeyPrefixConst.PRODUCT_DETAIL_CACHE + id, productInfo);
                }
            }
        } finally {
            if (lock.isLocked()) {
                if (lock.isHeldByCurrentThread())
                    lock.unlock();
            }
        }
        return productInfo;
    }

从拿到key值，先从本地缓存中get一下RedisKeyPrefixConst.PRODUCT_DETAIL_CACHE + id这个可以，如果能找到就不需要下面的操作，直接返回，如果没有找到，就从redis中获取，那就说明本地缓存没有，就要设置本地缓存，下次执行就可以从本地缓存找到，在mysql查就需要设置redis和本地缓存。通过一些开源框架可以更方便的解决问题。

多少层缓存？？？两层 本地缓存 redis缓存
这种方案还有没有问题，或者说优化的空间？

布隆过滤器实战：
布隆过滤器是怎么缓存的
布隆过滤器只存key不存value，每一个下标都会有一个值，有一个key通过function（一个类似hash算法的算法）去put的时候算出来下标为1，去请求时发现1里面有值就返回回去。随便来一个key，会请求不到直接诶返回，非法数据不会加载到布隆过滤器中。

存储：
com.example.mall.config.BloomFilterConfig#afterPropertiesSet

@Slf4j
@Configuration
public class BloomFilterConfig implements InitializingBean{

    @Autowired
    private PmsProductService productService;

    @Autowired
    private RedisTemplate template;

    @Bean
    public BloomFilterHelper<String> initBloomFilterHelper() {
        return new BloomFilterHelper<>((Funnel<String>) (from, into) -> into.putString(from, Charsets.UTF_8)
                .putString(from, Charsets.UTF_8), 1000000, 0.01);
    }

    /**
     * 布隆过滤器bean注入
     * @return
     */
    @Bean
    public BloomRedisService bloomRedisService(){
        BloomRedisService bloomRedisService = new BloomRedisService();
        bloomRedisService.setBloomFilterHelper(initBloomFilterHelper());
        bloomRedisService.setRedisTemplate(template);
        return bloomRedisService;
    }

    @Override
    public void afterPropertiesSet() throws Exception {
        List<Long> list = productService.getAllProductId();
        log.info("加载产品到布隆过滤器当中,size:{}",list.size());
        if(!CollectionUtils.isEmpty(list)){
            list.stream().forEach(item->{
                //LocalBloomFilter.put(item);
                bloomRedisService().addByBloomFilter(RedisKeyPrefixConst.PRODUCT_REDIS_BLOOM_FILTER,item+"");
            });
        }
    }
}

去实现一个InitializingBean接口的方法，有一个afterPropertiesSet()方法，会在初始化的时候调用，这里把全部商品查询出来，加载到布隆过滤器中。

拦截匹配：
com.example.mall.intercepter.BloomFilterInterceptor

@Slf4j
public class BloomFilterInterceptor implements HandlerInterceptor {

    @Autowired
    private BloomRedisService bloomRedisService;

    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
        String currentUrl = request.getRequestURI();
        PathMatcher matcher = new AntPathMatcher();
        //解析出pathvariable
        Map<String, String> pathVariable = matcher.extractUriTemplateVariables("/pms/productInfo/{id}", currentUrl);
        //布隆过滤器存储在redis中
        if(bloomRedisService.includeByBloomFilter(RedisKeyPrefixConst.PRODUCT_REDIS_BLOOM_FILTER,pathVariable.get("id"))){
            return true;
        }

        /**
         * 存储在本地jvm布隆过滤器中
         */
        /*if(LocalBloomFilter.match(pathVariable.get("id"))){
            return true;
        }*/

        /*
         * 不在本地布隆过滤器当中，直接返回验证失败
         * 设置响应头
         */
        response.setHeader("Content-Type","application/json");
        response.setCharacterEncoding("UTF-8");
        String result = new ObjectMapper().writeValueAsString(CommonResult.validateFailed("产品不存在!"));
        response.getWriter().print(result);
        return false;
    }
}

拦截的时候拦截/pms/productInfo/{id}这个请求，会被拦截到布隆过滤器，会从布隆过滤器里面匹配，如果存在返回true，不存在返回产品不存在。这样即使请求一些非法数据也可以不去请求数据库。
在这里插入图片描述
function去查找会不会很慢，不会，就像全国十几亿人，每个人都有一个身份证，生成的key存在着一些规律，可以很快的查询到数据。

全量刷到》增量
增量需要新的代码实现，使用一个消息中间件监听是否有新的商品，如果有新的商品就把它新增到布隆过滤器中。

二级缓存压测500，性能大大提高
在这里插入图片描述
压测1000
在这里插入图片描述
压测2000
在这里插入图片描述
错误率还是为0，提高配置还能更高。

问题：
分布式下，本地缓存、redis、数据库的数据怎么保持伪实时同步？（后面会提到）
会不会出现多个接口在一台服务器呀？如果多个不同接口怎么处理，比如商品id查询接口订单id查询接口 ，这时候拦截器判断时 要声明多个布隆过滤器处理吗？（不会，存储是用的redis）
4核8G的机子并发在多少合适 （200-500）
单个服务 400 /s 是高了还是低了？ 如果低了，求优化策略，多少才算 高？ 400已经不错了，正常业务会更复杂。
如果有一千万的商品布隆过滤器岂不是有redis大key的问题 （只存key；不存：value）

六、终结方案

一、当前不足、主要讲前端问题

小流量架构：
在这里插入图片描述
问题：
如果后台数据有变更呢?如何及时同步到其它服务端? 页面在不通服务间如何同步
如果页面静态化了，我们搜索打开一个商品详细页，怎么知道要我需要的访问的静态页面？
万一我们模板需要修改了怎么办？
牵一发动全身。
二、静态化这块
大型网站架构：
刚才的架构还有什么性能提升？
应用程序是java语言实现的，所有请求通过tomcat，需要编译、执行代码，如果请求一个比较重的事情，都交给应用服务器做，会让应用程序承受不住（tomcat也有并发的上线），如果让请求去请求CDN的时候让前端把事情做了，如果把模板放到CDN上也有许多问题，之前是通过静态化，可以使用动态化的方案，动态生成。

在这里插入图片描述
OpenResty® 是一个基于 Nginx 与 Lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

OpenResty® 通过汇聚各种设计精良的 Nginx 模块（主要由 OpenResty 团队自主开发），从而将 Nginx 有效地变成一个强大的通用 Web 应用平台。这样，Web 开发人员和系统工程师可以使用 Lua 脚本语言调动 Nginx 支持的各种 C 以及 Lua 模块，快速构造出足以胜任 10K 乃至 1000K 以上单机并发连接的高性能 Web 应用系统。

OpenResty® 的目标是让你的Web服务直接跑在 Nginx 服务内部，充分利用 Nginx 的非阻塞 I/O 模型，不仅仅对 HTTP 客户端请求,甚至于对远程后端诸如 MySQL、PostgreSQL、Memcached 以及 Redis 等都进行一致的高性能响应。
http://openresty.org/cn/
三、lua演示效果
目录：D:\ProgramData\nginx
需要用到的nginx命令：taskkill /im nginx.exe /f
在这里插入图片描述
实战：
流量分发的nginx，会发送http请求到后端的应用层nginx上去，所以要先引入lua http lib包
wget https://raw.githubusercontent.com/pintsized/lua‐resty‐http/master/lib/resty/http_headers.lua
wget https://raw.githubusercontent.com/pintsized/lua‐resty‐http/master/lib/resty/http.lua
最近网络不稳定，也可以从：https://github.com/bungle/lua-resty-template 去下载这两个lua脚本
crc32_long
在这里插入图片描述
文件放在：openresty-1.15.8.2-win642\lualib\resty下（openresty-1.15.8.2-win643也要放）
操作：
在nginx.conf文http模块中加入：
导入lua相关的包
lua_package_path ‘…/lualib/?.lua;;’;
lua_package_cpath ‘…/lualib/?.so;;’;

	lua_package_path '../lualib/?.lua;;';
    lua_package_cpath '../lualib/?.so;;';
	include lua.conf;

我们来看下lua.conf文件中

 server {
        listen 300;
        location /product {
	      default_type 'text/html;charset=UTF-8';
		  lua_code_cache on; 
	      content_by_lua_file D:/ProgramData/nginx/dis.lua;
		  }
}

我们监听300这个端口号，如果请求路径是product 那我们就让他包含dis.lua文件的内容
并且是开启lua缓存的哦。
接下来我们来看下dis.lua脚本
dis.lua

local uri_args = ngx.req.get_uri_args() 
local productId = uri_args["productId"]
local host = {"127.0.0.1:222","127.0.0.1:333"} 
local hash = ngx.crc32_long(productId)
hash = (hash % 2) + 1
backend = "http://"..host[hash]
local method = uri_args["method"]
local requestBody = "/"..method.."?productId="..productId
local http = require("resty.http")  
local httpc = http.new()  

local resp, err = httpc:request_uri(backend, {  
    method = "GET",  
    path = requestBody,
    keepalive=false
})

if not resp then  
    ngx.say("request error :", err)  
    return  
end

ngx.say(resp.body)  
  
httpc:close()

这个文件大家看阅读下源码，大致意思就是截取传过来的productid 然后从我配置的host服务中hash取其中已一台服务，然后通过服务请求拿到相应的数据，然后对数据进行输出。

接下来我们再看下222和333这两个服务。我们来看下nginx.conf配置：在这里插入代码片

	lua_package_path '../lualib/?.lua;;';
    lua_package_cpath '../lualib/?.so;;';
	include lua.conf;

lua.conf 配置

lua_shared_dict my_cache 128m;
 server {
        listen 222;
        set $template_location "/templates";
        set $template_root "D:/ProgramData/nginx/";

        location /product {
	      default_type 'text/html;charset=UTF-8';
		  lua_code_cache on; 
	      content_by_lua_file D:/ProgramData/nginx/product.lua;
		  }
}

**
请求后台：
product.lua**

local uri_args = ngx.req.get_uri_args()
local productId = uri_args["productId"]
local productInfo = nil
if productInfo == "" or productInfo == nil then
     local http = require("resty.http")
	 local httpc = http.new()
	 local resp, err = httpc:request_uri("http://127.0.0.1:8866",{
	 method = "GET",
	 path = "/pms/productInfo/"..productId
	 })
	 productInfo = resp.body
end
ngx.say(productInfo);

此时我们可以正常去访问后台，并且能拿到后台的数据，那我们请求都会请求到后台，那就没有起到作用了。

加入缓存(升级版)：
product.lua

local uri_args = ngx.req.get_uri_args()
local productId = uri_args["productId"]
local cache_ngx = ngx.shared.my_cache
local productCacheKey = "product_info_"..productId
local productCache = cache_ngx:get(productCacheKey)
if productCache == "" or productCache == nil then
     local http = require("resty.http")
	 local httpc = http.new()
	 local resp, err = httpc:request_uri("http://127.0.0.1:8866",{
	 method = "GET",
	 path = "/pms/productInfo/"..productId
	 })
	 productCache = resp.body
	 local expireTime = math.random(600,1200)
	 cache_ngx:set(productCacheKey, productCache, expireTime)
end

加入缓存

json：

local cjson = require("cjson")
local productCacheJSON =cjson.decode(productCache) 
ngx.say(productCache);
local context = {
	id = productCacheJSON.data.id,
	name = productCacheJSON.data.name,
	price = productCacheJSON.data.price,
	pic = productCacheJSON.data.pic,
	detailHtml = productCacheJSON.data.detailHtml
}
local template = require("resty.template")
template.render("product.html", context)

html模板：

<html>
	<head>
	<meta http‐equiv="Content‐Type" content="text/html; charset=utf-8" />
	</head>
	<body>
	<h1>
商品id: {* id *}<br/>
商品名称: {* name *}<br/>
商品价格: {* price *}<br/>
商品库存: <img src={* pic *}/><br/>
商品描述: {* detailHtml *}<br/>
	</h1>
</body>
</html>

总结：
数据热点：
3层缓存：
**lua+nginx：**数据量小、访问量相对来很高
**jvm本地缓存：**数据量很大、访问量相对来高
**redis：**数据量相对来说比较大、访问量相对来不高

前端访问数据库会经过4层拦截，nginx缓存，网管，应用服务（本地缓存），redis缓存，数据库。
在这里插入图片描述
在这里插入图片描述

LRU算法：最热的数据缓存
访问一次就放入ngix会污染最热数据，最好用LRU-k。

LRU-k(链表K) 最近最热的一次数据 非常火 连续访问3次以上

在这里插入图片描述
在这里插入图片描述
架构1.0：
在这里插入图片描述
IIS+C#+Sql Server，最原始的架构，直接调用商品库获取相应的数据，扛不住时加了一层memcached来缓存数据。这种方式经常受到依赖的服务不稳定而导致的性能抖动。

备注：加入了缓存，但是问题受限于缓存服务器，不稳定

架构2.0：
在这里插入图片描述
该方案使用了静态化技术，按照商品维度生成静态化HTML。主要思路：
1、通过MQ得到变更通知；
2、通过Java Worker调用多个依赖系统生成详情页HTML；
3、通过rsync同步到其他机器；
4、通过Nginx直接输出静态页；
5、接入层负责负载均衡。
备注：该方案的主要缺点：
1、假设只有分类、模板变更了，那么所有相关的商品都要重刷；
2、随着商品数量的增加，rsync会成为瓶颈；
3、无法迅速响应一些页面需求变更，大部分都是通过JavaScript动态改页面元素。
随着商品数量的增加这种架构的存储容量到达了瓶颈，而且按照商品维度生成整个页面会存在如分类维度变更就要全部刷一遍这个分类下所有信息的问题，因此我们又改造了一版按照尾号路由到多台机器。

在这里插入图片描述
主要思路：
1、容量问题通过按照商品尾号做路由分散到多台机器，按照自营商品单独一台，第三方商品按照尾号分散到11台；
2、按维度生成HTML片段（框架、商品介绍、规格参数、面包屑、相关分类、店铺信息），而不是一个大HTML；
3、通过Nginx SSI合并片段输出；
4、接入层负责负载均衡；
5、多机房部署也无法通过rsync同步，而是使用部署多套相同的架构来实现。

该方案主要缺点：
1、碎片文件太多，导致无法rsync；
2、机械盘做SSI合并时，高并发时性能差，此时我们还没有尝试使用SSD；
3、模板如果要变更，数亿商品需要数天才能刷完；
4、到达容量瓶颈时，我们会删除一部分静态化商品，然后通过动态渲染输出，动态渲染系统在高峰时会导致依赖系统压力大，抗不住；
5、还是无法迅速响应一些业务需求。

我们的痛点
1、之前架构的问题存在容量问题，很快就会出现无法全量静态化，还是需要动态渲染；不过对于全量静态化可以通过分布式文件系统解决该问题，这种方案没有尝试；
2、最主要的问题是随着业务的发展，无法满足迅速变化、还有一些变态的需求。

架构3.0
我们要解决的问题：
1、能迅速响瞬变的需求，和各种变态需求；
2、支持各种垂直化页面改版；
3、页面模块化；
4、AB测试；
5、高性能、水平扩容；
6、多机房多活、异地多活。
在这里插入图片描述
主要思路：
1、数据变更还是通过MQ通知；
2、数据异构Worker得到通知，然后按照一些维度进行数据存储，存储到数据异构JIMDB集群（JIMDB：Redis+持久化引擎），存储的数据都是未加工的原子化数据，如商品基本信息、商品扩展属性、商品其他一些相关信息、商品规格参数、分类、商家信息等；
3、数据异构Worker存储成功后，会发送一个MQ给数据同步Worker，数据同步Worker也可以叫做数据聚合Worker，按照相应的维度聚合数据存储到相应的JIMDB集群；三个维度：基本信息（基本信息+扩展属性等的一个聚合）、商品介绍（PC版、移动版）、其他信息（分类、商家等维度，数据量小，直接Redis存储）；
4、前端展示分为两个：商品详情页和商品介绍，使用Nginx+Lua技术获取数据并渲染模板输出。
另外我们目前架构的目标不仅仅是为商品详情页提供数据，只要是Key-Value获取的而非关系的我们都可以提供服务，我们叫做动态服务系统。
在这里插入图片描述
在这里插入图片描述
该动态服务分为前端和后端，即公网还是内网，如目前该动态服务为列表页、商品对比、微信单品页、总代等提供相应的数据来满足和支持其业务。

架构原则：

在这里插入图片描述
**数据闭环：**即数据的自我管理，或者说是数据都在自己系统里维护，不依赖于任何其他系统，去依赖化；这样得到的好处就是别人抖动跟我没关系。
**数据异构：**是数据闭环的第一步，将各个依赖系统的数据拿过来，按照自己的要求存储起来；
数据原子化：数据异构的数据是原子化数据，这样未来我们可以对这些数据再加工再处理而响应变化的需求；
**数据聚合，**将多个原子数据聚合为一个大JSON数据，这样前端展示只需要一次get，当然要考虑系统架构，比如我们使用的Redis改造，Redis又是单线程系统，我们需要部署更多的Redis来支持更高的并发，另外存储的值要尽可能的小；
**数据存储，**我们使用JIMDB，Redis加持久化存储引擎，可以存储超过内存N倍的数据量，我们目前一些系统是Redis+LMDB引擎的存储，目前是配合SSD进行存储；另外我们使用Hash Tag机制把相关的数据哈希到同一个分片，这样mget时不需要跨分片合并。

我们目前的异构数据时键值结构的，用于按照商品维度查询，还有一套异构时关系结构的用于关系查询使用。
详情页架构设计原则 / 数据维度化
对于数据应该按照维度和作用进行维度化，这样可以分离存储，进行更有效的存储和使用。我们数据的维度比较简单：
1、商品基本信息，标题、扩展属性、特殊属性、图片、颜色尺码、规格参数等；
2、商品介绍信息，商品维度商家模板、商品介绍等；
3、非商品维度其他信息，分类信息、商家信息、店铺信息、店铺头、品牌信息等；
4、商品维度其他信息（异步加载），价格、促销、配送至、广告词、推荐配件、最佳组合等。

拆分系统：

将系统拆分为多个子系统虽然增加了复杂性，但是可以得到更多的好处，比如数据异构系统存储的数据是原子化数据，这样可以按照一些维度对外提供服务；而数据同步系统存储的是聚合数据，可以为前端展示提供高性能的读取。而前端展示系统分离为商品详情页和商品介绍，可以减少相互影响；目前商品介绍系统还提供其他的一些服务，比如全站异步页脚服务。
在这里插入图片描述

多级缓存优化：

**浏览器缓存，**当页面之间来回跳转时走local cache，或者打开页面时拿着Last-Modified去CDN验证是否过期，减少来回传输的数据量；
**CDN缓存，**用户去离自己最近的CDN节点拿数据，而不是都回源到北京机房获取数据，提升访问性能；
**服务端应用本地缓存，**我们使用Nginx+Lua架构，使用HttpLuaModule模块的shared dict做本地缓存（ reload不丢失）或内存级Proxy Cache，从而减少带宽；
另外我们还使用使用一致性哈希（如商品编号/分类）做负载均衡内部对URL重写提升命中率；
我们对mget做了优化，如去商品其他维度数据，分类、面包屑、商家等差不多8个维度数据，如果每次mget获取性能差而且数据量很大，30KB以上；而这些数据缓存半小时也是没有问题的，因此我们设计为先读local cache，然后把不命中的再回源到remote cache获取，这个优化减少了一半以上的remote cache流量；
服务端分布式缓存，我们使用内存+SSD+JIMDB持久化存储。

动态化
**数据获取动态化，商品详情页：**按维度获取数据，商品基本数据、其他数据（分类、商家信息等）；而且可以根据数据属性，按需做逻辑，比如虚拟商品需要自己定制的详情页，那么我们就可以跳转走，比如全球购的需要走jd.hk域名，那么也是没有问题的；
模板渲染实时化，支持随时变更模板需求；
重启应用秒级化，使用Nginx+Lua架构，重启速度快，重启不丢共享字典缓存数据；
需求上线速度化，因为我们使用了Nginx+Lua架构，可以快速上线和重启应用，不会产生抖动；另外Lua本身是一种脚本语言，我们也在尝试把代码如何版本化存储，直接内部驱动Lua代码更新上线而不需要重启Nginx。
弹性化
**我们所有应用业务都接入了Docker容器，存储还是物理机；**我们会制作一些基础镜像，把需要的软件打成镜像，这样不用每次去运维那安装部署软件了；未来可以支持自动扩容，比如按照CPU或带宽自动扩容机器，目前京东一些业务支持一分钟自动扩容。
降级开关
推送服务器推送降级开关，开关集中化维护，然后通过推送机制推送到各个服务器；
可降级的多级读服务，前端数据集群—>数据异构集群—>动态服务(调用依赖系统)；这样可以保证服务质量，假设前端数据集群坏了一个 磁盘，还可以回源到数据异构集群获取数据；
开关前置化，如Nginx–àTomcat，在Nginx上做开关，请求就到不了后端，减少后端压力；
可降级的业务线程池隔离，从Servlet3开始支持异步模型，Tomcat7/Jetty8开始支持，相同的概念是Jetty6的Continuations。我们可以把处理过程分解为一个个的事件。通过这种将请求划分为事件方式我们可以进行更多的控制。如，我们可以为不同的业务再建立不同的线程池进行控制：即我们只依赖tomcat线程池进行请求的解析，对于请求的处理我们交给我们自己的线程池去完成；这样tomcat线程池就不是我们的瓶颈，造成现在无法优化的状况。通过使用这种异步化事件模型，我们可以提高整体的吞吐量，不让慢速的A业务处理影响到其他业务处理。慢的还是慢，但是不影响其他的业务。我们通过这种机制还可以把tomcat线程池的监控拿出来，出问题时可以直接清空业务线程池，另外还可以自定义任务队列来支持一些特殊的业务。

多机房多活

应用无状态，通过在配置文件中配置各自机房的数据集群来完成数据读取。
在这里插入图片描述
数据集群采用一主三从结构，防止当一个机房挂了，另一个机房压力大产生抖动。
在这里插入图片描述

多种压测方案

线下压测，Apache ab，Apache Jmeter，这种方式是固定url压测，一般通过访问日志收集一些url进行压测，可以简单压测单机峰值吞吐量，但是不能作为最终的压测结果，因为这种压测会存在热点问题；
线上压测，可以使用Tcpcopy直接把线上流量导入到压测服务器，这种方式可以压测出机器的性能，而且可以把流量放大，也可以使用Nginx+Lua协程机制把流量分发到多台压测服务器，或者直接在页面埋点，让用户压测，此种压测方式可以不给用户返回内容。

总结

Netgrow
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
最新电商大数据平台项目实战
04-10
04.电商项目之数仓的数据来源.mp4 12.电商项目之数仓的数据产品服务化讲解.mp4 16.电商项目之Sqoop的Shell脚本编写.mp4 17.电商项目之Azkaban简介.mp4 18.电商项目之Azkaban安装（Exec参数配置）.mp4 19.电商项目之...
电商项目02
Netgrow的博客
07-17 478
文章目录一、商品详情多级缓存优化（一）商品模块业务场景介绍：二、商品模块技术难点三、商品模块展示技术难点四、静态化处理架构方案的问题：后台优化总结 一、商品详情多级缓存优化（一） 商品模块业务场景介绍： 商品模块业务详解 一个商品属于哪个类目？属于哪个品牌？属于什么型号？参数有哪些？ 二、商品模块技术难点 表的设计：打开游览器访问京东详细页 问题： 商品这块的数据库如何更好的设计，商品详细页显示这么多信息，是一张表还是多张表更好了？ 这个问题到底是一张表还是多张表，我们判断依据是什么？我们判断商品
秒杀系统-商品详细页多级缓存实战（二）
沮丧的南瓜
01-05 1143
文章目录一、缓存方案引入缓存二、实战-获取商品详情信息（zk分布式锁+本地缓存+Redis）现在有什么问题了？加入分布式锁:ZK分布式锁实现引入本地缓存LocalCache优化后的查询代码分布式锁原理如何保证数据一致性缓存应用场景二、缓存问题缓存击穿问题（热点数据单个key）缓存穿透问题（恶意攻击、访问不存在数据）缓存雪崩（同一时间失效，并发量大）缓存和数据库双写一致性问题四、引入分布式锁 一、缓存方案 后台问题描述：访问数据库查询商品信息，读多写少。 /** * 获取商品详情信息 * * @para
秒杀项目学习笔记-页面缓存
31楼下小黑的博客
06-02 167
通过前面的压测发现，并发的瓶颈主要在访问数据库上面，所以加缓存很有必要性。 页面缓存 GoodsController 分为两个部分：取缓存，写缓存 首先对controller做一些改动 @RequestMapping(value = "/to_list",produces="text/html") @ResponseBody public String toList(HttpServletRequest request, HttpServletResponse response,
商品详情页系统架构-笔记4-商品详情页多级缓存
allensandy的博客
11-09 471
目录 redis在实践中的一些常见问题以及优化思路 阶段性总结 电商系统中的商品详情页多级缓存 redis在实践中的一些常见问题以及优化思路 （1）fork耗时导致高并发请求耗时 方案：一般redis内存控制在10G以内 （2）AOF阻塞问题 为什么阻塞：redis写入数据AOF缓冲区，会单独开一个线程fsync，每秒一次。但是Redis 会检查两次的fsync时间，距离上一次fsync超过2秒会写阻塞。 方案：采用SSD硬盘 （3）主从复制延迟 在info replication中看
(一)大型电商详情页亿级缓存架构简介
weixin_36994557的博客
05-10 462
大型电商详情页亿级缓存架构1.1 架构图1.2 集群环境简介1.3 环境准备1.3.1 在虚拟机中安装CentOS1.3.2 在每个CentOS中都安装Java和Perl 该系列文章是基于中华石杉老师的“[大数据架构]-亿级流量电商详情页系统的大型高并发与高可用缓存架构实战”课程整理的课堂笔记。 1.1 架构图 1.2 集群环境简介 搭建redis集群，集群部署，主从架构，分布式集群架构。 搭建一个storm的集群。 整套的系统包括：nginx，tomcat+java web应用，mysql等
【尚硅谷】徐靖博 最新电商项目实战（完结）
12-03
本资源为网传资源，为一套比较全的电商项目，系统架构采用SOA dubbo+EasyI实现，资源过大上传乃是下载链接，如有侵权请联系/留言，不多说下面上目录： 1.01 电商系统介绍2 f% Z/ C0 z% {1 l" q+ R 2.02 电商类型介绍...
原生微信小程序电商项目
01-27
微信小程序电商平台 视频学习： 跟着视频中老师敲了一遍，自己换了数据接口又折腾了一遍。 数据使用的是： ，免费使用，有配套的，更详细的使用可以前去官网查看相关文档。 参考学习： 2020.04.27更新： 各位小伙伴...
vue大型电商项目尚品汇（后台篇）day04.doc
07-09
vue大型电商项目尚品汇（后台篇）day04.doc
秒杀多级缓存-----商品详情页
weixin_43689953的博客
05-27 294
1
秒杀页面优化（页面缓存+URL缓存+对象缓存）
LUJINYUANA的博客
06-12 725
页面优化技术 为什么要优化. 1.页面缓存+URL缓存+对象缓存 由于并发瓶颈在数据库，想办法如何减少对数据库的访问，所以加若干缓存来提高，通过各种粒度的缓存，最大粒度页面缓存到最小粒度的对象级缓存。 2.页面静态化，前后端分离 都是纯的html，通过js或者ajax来请求服务器，如果做了静态化，浏览器可以把html缓存在客户端。 3.静态资源优化 JS/CSS压缩，减少流量。（压缩版的js,去掉多余的空格字符。区别于阅读版）JS/CSS组合，减少连接数。（将多个JS和CSS的组合到一个请求里面去，一下子从
分布式场景实战第三节 秒杀系统下的缓存设计
fegus的博客
05-13 785
08 秒杀架构：设计秒杀架构必知必会的那些事 08 讲我们开始讲解秒杀架构的相关内容，秒杀架构可以说是综合性非常强的一个场景，而且面试官特别喜欢基于这个场景进行提问，因此你有必要好好学习下哦。 在正式内容讲解之前，我们先来回顾下前面几个课时的内容。 05 讲我们讲了读缓存，我们先把数据存放在缓存中，每次请求通过缓存读取数据，大大减少了数据库读请求压力。06 讲我们讲了写缓存，流量洪峰时，我们先将数据写入缓存中，再逐步搬运数据到数据库，大大减少了数据库写请求压力。07 讲我们讲了数据收集，利用消息队列我们可
redis实现商品查询缓存【解决常见问题】
小柚的博客
10-26 827
当我们客户端访问不存在的数据时，先请求redis，但是此时redis中没有数据，此时会访问到数据库，但是数据库中也没有数据，这个数据穿透了缓存，直击数据库，我们都知道数据库能够承载的并发不如redis这么高，如果大量的请求同时过来访问这种不存在的数据，这些请求就都会访问到数据库，简单的解决方案就是哪怕这个数据在数据库中也不存在，我们也把这个数据存入到redis中去，这样，下次用户过来访问这个不存在的数据，那么在redis中也能找到这个数据就不会进入到缓存了。因为锁能实现互斥性。
商品缓存系统建设的方案
weixin_34067980的博客
07-10 428
随着业务的高速发展, 产品的UV/PV 已经有了数量级的提升，作为访问量的聚集地之一的商品详情页逐步的感受到了压力，特别是活动和大促期间，这样的感觉越发明显。所以除了服务化改造本身，今年我们的重点改造目标之一，就是提升商品详情页的性能和体验。被动式缓存先行为了尽快解决页面访问的性能问题，第一步往往会选用最快最有效的方式，我们也不例外，所以在第一个版本中，我们的改造方案如下：商品详情页的所有数据，提...
淘宝搜索引擎的缓存机制
似水流年 -- 韩欣的博客
04-24 2557
在淘宝搜索系统中中，搜索结果页的缓存(Cache)是对搜索“效率”贡献最大的设计。由于缓存中的搜索结果页都是前人查询的结果，因此用户的查询请求如果在缓存中命中(和前人的查询相同)，则查询系统直接把缓存中存放的搜索结果页返回给用户。 用户在使用淘宝搜索引擎进行检索时，查询词可能千差万别。但是如果从大量用户的查询统计上看，总会有一些词汇经常被查询，有些词汇却很少被查询。 (1)前20%的查询词的查
缓存商品列表数据
没家的雷子
01-15 4457
在电商网站中，会缓存一个比较大的商品列表，若某一个商品信息更改，如何快速而准确的定位到此商品，只更新这一个信息？ 127.0.0.1:6379> lpush productList product::100 product::101 127.0.0.1:6379>hset product::100 '商品详情信息' 127.0.0.1:6379>hset product::101 '商品
对秒杀商品这块先做一个多级缓存优化
Neayom
06-13 219
一、表的设计 关于秒杀这块，一场秒杀活动有好几个场次，一个场次中有多个商品可以被秒杀，从这一句话就可以得出三张表 表1：秒杀活动表： 表2：限购场次表 表3：商品限购场次与商品关联表也就是说一个商品，得知道该商品属于哪次活动的哪个场的秒杀商品~ 注：秒杀活动的库存不走SKU库存 二、关于商品详情页 商品详情这块应该是访问QPS最多的业务了，每次查商品详情都走数据库的话，后台受不了所以需要做优化qps （一）不加缓存直接头铁到DB上查，测一测QPS 先估测一个值 从200开始 慢慢的压 以100为一个梯度。
商品查询中的缓存查询
Liaoyuh的博客
08-14 503
itemSearchService public Map search(Map searchMap); itemSearchServiceImpl @Autowired private SolrTemplate solrTemplate; @Autowired private RedisTemplate redisTemplate; @Override...
kotlin写电商项目
最新发布
02-28
Kotlin是一种现代化的静态类型编程语言，它可以用于开发各种类型的应用程序，包括电商项目。下面是一个简单的介绍，如何使用Kotlin来编写电商项目： 1. 数据库设计：首先，你需要设计一个适合电商项目的数据库模型...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值