商家操作日志系统采用kafka+storm+elasticsearch架构，但随着数据量增长，ES内存需求增大。为解决此问题，提出新的存储方案：将3个月前的历史数据迁移至HBase，利用HBase存储大量历史数据的优势，同时保留ES用于热数据分析。调整还包括按业务类别拆分日志集群，确保资源分配更合理。
商家操作日志的使命就是记录卖家对商品、订单等业务的操作。以便于后续分析。我们在做技术选型的时候确定了kafka+storm+elasticsearch，当前的架构如下：
我们现在面临这样的问题，数据全部落到了ES上面，ES数据全部加载到内存里面之后，当前2个月的数量达到数十T之多。这个量对资源的需求非常大，而且我们的要求是同时要打开三个月的数据，因此远远达不到我们的要求。
我们以往是这样做的，每天一个索引，2个月之前的索引全部关掉。只保持一个月的索引打开。如果想查询以前的数据，就要先关掉当前的1个月，再打开要查看的那个月的索引。
ES集群，32个分片，32个副本（“1”-代表每个分片一个副本）
- "set
最低0.47元/天 解锁文章
扫一扫
258
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
