热点数据降级详解（storm+nginx+lua）

最新推荐文章于 2024-08-28 14:48:30 发布
最新推荐文章于 2024-08-28 14:48:30 发布
阅读量1.3k 收藏 2
点赞数
分类专栏： 缓存架构 文章标签： nginx storm lua
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011262847/article/details/78659735
版权

对于热点数据，瞬间大量流量涌入，通过转发层nginx可能会流向同一个应用层nginx，因此可能导致崩溃。需要对这些热点数据进行降级处理，将流量负载均衡到所有的应用层nginx上

  • 用storm实时统计处瞬间称为热点的数据
    基于之前所描述，我们会将所有相关的流量请求都分上报至kafka从而通过storm来统计保存至LRUMap，接下来可以比较高频率的（秒级）去遍历这些LRUMap，将其中的访问次数进行排序，统计处靠后的95%的商品访问次数的平均值，然后从往前开始遍历去找有没有瞬间出现的热点数据，我们可以定义靠前的数据超过95%平均值多少倍的阀值就认定为热点数据，然后继续遍历直至小于平均值多少倍的一个安全值就brean这个循环。
  • 将storm统计处认定为热点的数据上报到流量分发层nginx
    通过http将统计出的热点数据发送至流量分发层nginx上，通过lua脚本去处理这个请求，并将商品列表放至本地缓存中，同时storm会将热点数据对应的完整缓存发送至所有的应用层nginx服务器上去，并放至本地缓存中
  • 流量分发层nginx的分发降级策略
    对于流量分发nginx，每次访问一个商品详情页的时候，如果发现它是热点，那么立即做流量分发策略的降。可以通过hash策略，针对同一个productId的访问都同一台应用nginx服务器上的这种情况降级成对这个热点商品，流量分发采取随机负载均衡发送到所有的后端应用nginx服务器上去，从而避免说大量的流量全部集中到一台机器
  • storm保存热点商品id对应的list
    storm每次统计热点的数据都需要基于上一次的统计结果，对于不是热点数据的商品发送http请求值流量分发的nginx上去，取消掉之前进行的降级策略处理，并从该nginx本地缓存中删除
Sentinel热点数据的处理机制
weixin_56859779的博客
08-10 198
代码层级结构： 1.控制层： package com.cy.controller; import com.alibaba.csp.sentinel.annotation.SentinelResource; import com.cy.service.ConsumerService; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.web.bind.annota.
idea openrestry+nginx+lua搭建企业级开发环境
09-26
"Idea OpenResty + Nginx + Lua" 的组合提供了一种强大的解决方案，它允许开发者利用 IntelliJ IDEA（Idea）作为集成开发环境，OpenResty（一个扩展了 Nginx 的版本）作为服务器平台，以及 Lua 语言进行高性能的脚本...
针对热点数据的处理
weixin_54256249的博客
08-22 1281
针对热点数据的处理
服务降级的架构原理
最新发布
ArchManual 分布式技术架构手册
08-28 2762
Target 定义该规则针对什么样的请求，如某个 key（可以类比 Sentinel 中的资源名的概念），或者包含某类参数的 HTTP 请求等等。ystrixCommand 和 HystrixObservableCommand 的实现可以定义一个缓存键，然后在请求中使用该键来去重调用，如果命中缓存健，则直接返回缓存健对应的结果。如果 Hystrix 没有实现请求缓存功能，那么每个命令都需要在 construct 或 run 方法内部自行实现它，缓存结果的查询要放到新线程创建后，所有无法避免新的线程的创建。
4. 秒杀系统--处理系统的“热点数据”
斜月&三星
02-14 549
假设你的系统中存储有几十亿上百亿的商品，而每天有千万级的商品被上亿的用户访问，那么肯定有一部分被大量用户访问的热卖商品，这就是我们常说的“热点商品”。这些热点商品中最极端的例子就是秒杀商品，它们在很短时间内被大量用户执行访问、添加购物车、下单等操作，这些操作我们就称为“热点操作”。 为什么要关注热点？ 因为热点会对系统产生一系列的影响。 首先，热点请求会大量占用服务器处理资源，...
热点数据的发现、处理、更新
xzh_blog
03-17 3475
热点数据发现 1.发现静态热点数据：静态热点数据的发现相对简单些，是可以提前预估预测的数据。比如：秒杀活动商品、降价促销商品、节假日的火车票机票、热门电影门票、明星发布新专辑，以及大数据分析流行趋势预测热点。 2.发现动态热点数据：创建异步监控统计服务和热点数据服务。异步监控统计服务在一个周期内对Key进行请求统计，在达到请求量级后将热点Key发送到热点数据服务收集，然后热点数据服务对这些热点Key进行聚合分析，最后推送到业务系统。 热点数据处理 1.缓存热点数据，放入LRU队列淘汰替换。 .
nginx ---->flume ----->kafka ----> storm -----> hdfs
06-30 2524
大数据架构简单流程图 nginx ---->flume ----->kafka ----> storm -----> hdfs(mysql)------>hbse(hive)---->spark(MR)
nginx+lua+redis通过匹配客户端ip进行灰度发布
06-29
nginx+lua+redis通过匹配客户端ip进行灰度发布 本文将讲述如何使用nginx、lua和redis来实现灰度发布，通过匹配客户端IP来实现灰度发布。灰度发布是一种常见的软件发布方式，它允许开发者在生产环境中发布新的版本，...
nginx+lua+redis 集群 连接插件和脚本
12-09
本资源包“nginx+lua+redis集群 连接插件和脚本”正是为了解决这三者之间的协同工作，特别是针对原插件没有密码功能的问题进行了改进，使得安全性得到了提升。 首先，Nginx是一款轻量级的Web服务器/反向代理服务器...
nginx+storm基于流量分发策略自动降级解决缓存热点问题
kang123488的博客
03-11 800
热点缓存导致系统崩溃的问题 热点缓存的解决方案 1、在storm中，实时的计算出瞬间出现的热点 其中比较简单的算法： 某个storm task，上面算出了1万个商品的访问次数，LRUMap 频率高一些，每隔5秒，去遍历一次LRUMap，将其中的访问次数进行排序，统计出往后排的95%的商品访问次数的平均值 1000 999
高并发Nginx+lua是如何抗住的
02-24
提到高并发或者抗压力，有这种高qps经验的同学第一反应大都是Nginx+lua+Redis，网上也满天非那种高并发架构方案大都是这种，但是Nginx+lua来做接入层到底是怎么抗住压力的呢？本篇顺序：1、Nginx如何抗住的高并发，...
秒杀之处理热点数据
cxy_19891109的博客
02-16 252
nginx+lua+storm的热点缓存的流量分发策略自动降级
weixin_30546189的博客
09-08 188
1、在storm中，实时的计算出瞬间出现的热点。 某个storm task，上面算出了1万个商品的访问次数，LRUMap 频率高一些，每隔5秒，去遍历一次LRUMap，将其中的访问次数进行排序，统计出往后排的95%的商品访问次数的平均值 比如说，95%的商品，访问次数的平均值是100 从最前面开始，往后遍历，去找有没有瞬间出现的热点数据 ...
Sentinel降级和热点Key限流
m0_62946761的博客
02-10 7551
Sentinel降级、热点Key限流基本介绍以及讲解重要注解@SentinelResource
如何应对热点数据
qq690452074的专栏
07-13 186
如何应对热点数据
高并发场景下对热点数据的处理
银湖冰河
07-02 1764
高并发场景下对热点数据的处理 1、在支付、物联网、超大人群红包领取等业务场景下，对于高并发问题有缓存、集群、分库分表等方式解决。 2、依然可能存在单条热点数据的的问题，例如热点商户的账务数据（就是mysql上的一条记录），可能同时有数十万人在往上面转账，这种情况下是不可能全部同步update到这条记录的。或者是商家准备一笔钱给社交网络发放红包（发放时机依赖用户行为，不能分批主动发送），需要在高并发下对这条账户减钱成功，并不会减成负数。 解决方案： 第一种可以称之为加钱频繁账户，可以采用加钱时只做记录，然后
nginx+lua+redis实现降级
cheers_bin的博客
02-16 2410
Nginx+lua+redis 实现降级
Nginx利用Lua+Redis实现动态封禁IP的方法
01-10
本文给大家介绍的是Nginx利用Lua+Redis实现动态封禁IP的方法，下面话不多说了，来一起看看详细的介绍吧 二、架构 实现 IP 黑名单的功能有很多途径： 1、在操作系统层面，配置 iptables，拒绝指定 IP 的网络请求； 2...
数据库降级_浅谈服务降级（二）
weixin_39818631的博客
12-19 198
1实现降级1.1 配置中心 配置中心是一个后台，这个配置中心大家根据各自需求自己去实现，这里我们采用手工操作redis的方式，实际上是通过后台操作的redis。1.2 nginx+lua+redis实现降级nginx配置文件/etc/nginx/nginx.confuser nobody; worker_processes 1; events {worker_connection...
基于storm实时热点统计的分布式并行缓存预热
03-19
一、基于nginx+lua完成商品详情页访问流量实时上报kafka的开发 ==================================== 在nginx这一层，接收到访问请求的时候，就把请求的流量上报发送给kafka 这样的话，storm才能去消费kafka中的实时的访问日志，然后去进行缓存热数据的统计 用得技术方案非常简单，从lua脚本直接创建一个kafka producer，发送数据到kafka ``` wget https://github.com/doujiang24/lua-resty-kafka/archive/master.zip yum install -y unzip unzip lua-resty-kafka-master.zip cp -rf /usr/local/lua-resty-kafka-master/lib/resty /usr/hello/lualib nginx -s reload local cjson = require("cjson") local producer = require("resty.kafka.producer") local broker_list = { { host = "192.168.31.187", port = 9092 }, { host = "192.168.31.19", port = 9092 }, { host = "192.168.31.227", port = 9092 } } local log_json = {} log_json["headers"] = ngx.req.get_headers() log_json["uri_args"] = ngx.req.get_uri_args() log_json["body"] = ngx.req.read_body() log_json["http_version"] = ngx.req.http_version() log_json["method"] =ngx.req.get_method() log_json["raw_reader"] = ngx.req.raw_header() log_json["body_data"] = ngx.req.get_body_data() local message = cjson.encode(log_json); local productId = ngx.req.get_uri_args()["productId"] local async_producer = producer:new(broker_list, { producer_type = "async" }) local ok, err = async_producer:send("access-log", productId, message) if not ok then ngx.log(ngx.ERR, "kafka send err:", err) return end ``` 两台机器上都这样做，才能统一上报流量到kafka ``` bin/kafka-topics.sh --zookeeper 192.168.31.187:2181,192.168.31.19:2181,192.168.31.227:2181 --topic access-log --replication-factor 1 --partitions 1 --create bin/kafka-console-consumer.sh --zookeeper 192.168.31.187:2181,192.168.31.19:2181,192.168.31.227:2181 --topic access-log --from-beginning ``` （1）kafka在187上的节点死掉了，可能是虚拟机的问题，杀掉进程，重新启动一下 nohup bin/kafka-server-start.sh config/server.properties & （2）需要在nginx.conf中，http部分，加入resolver 8.8.8.8; （3）需要在kafka中加入advertised.host.name = 192.168.31.187，重启三个kafka进程 （4）需要启动eshop-cache缓存服务，因为nginx中的本地缓存可能不在了 二、基于storm+kafka完成商品访问次数实时统计拓扑的开发 ==============
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值