大规模数据OLAP分析爆内存问题分析与解决

最新推荐文章于 2023-12-03 18:22:02 发布
最新推荐文章于 2023-12-03 18:22:02 发布
阅读量615 收藏
点赞数
分类专栏： RocksDB Java 大数据 文章标签： Java GC RocksDB JNI OLAP OOM 数据库 火山模型Iterator
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/javeme/article/details/104695766
版权

大规模数据OLAP分析爆内存问题分析与解决

PR地址：Fix RocksDB OOM #823

问题背景

问题表现

在执行如下Gremlin语句时，如果一次查询分析的结果数据在千万条以上，进程内存在几分钟内暴涨，JVM老年代占据将近20G内存、RocksDB占用本地内存超过100G，最终导致OOM，甚至进程被系统kill掉。

g.V().hasLabel('vbsku').count() 
g.
最低0.47元/天 解锁文章
Jermy Li
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink】Flink RocksDBListState getInternal 状态太大 导致OOM Java heap space
九师兄
09-10 906
FLink使用RocksDBListState 这个内存溢出，是不是这个窗口里面的数据太多了导致的?根据报错找到报错位置try {} }看起来是从RocksDB 中反序列化数据，数据太大导致，应该缩小状态大小，比如缩小窗口。
大数据OLAP技术体系学习框架
Lansonli（蓝深李）的博客
10-10 2104
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的上面这些看似没用，但实际很重要，这里就不再具体说明，感兴趣的同学可以看看我的学习框架的重要性我是怎么坚持学习的怎么确定学习目标本栏目为缺少OLAP技术体系的同学全面整理的体系学习知识，内容是按不同的技术体系整理的，带你丰富大数据OLAP技术知识体系，想学会就得自律加坚持，赶快行动吧。
OceanBase
hanzong110的博客
11-09 6131
1 集中式数据库与分布式数据库 1.1 集中式数据库缺点 成本高 有性能上线 无法横向扩展 横向扩展：变成多个，即加服务器 纵向扩展：单个变大，即加cpu、硬盘 1.2 分库分表缺点 应用侵入性 某些SQL不支持 无法保证数据一致性 1.3 OceanBase优点 高可用+数据一致 依赖工业级Paxos协议实现 PRO=0：Recovery Point Objective，可靠性的指标，不丢失数据， RTO<30：Recovery Time Objective，可用性的指标，30s内
RocksDB 常见问题
neuzhangno的博客
05-09 781
Building RocksDB 问：构建 RocksDB 所需的 gcc 的绝对最低版本是什么？ 答：4.8。 问：RocksDB 最新的稳定版本是什么？ 答：https://github.com/facebook/rocksdb/releases 中的所有版本都是稳定的。对于 RocksJava，稳定版本在 https://oss.sonatype.org/#nexus-search;quick~rocksdb 中可用。 基本读/写 问：基本操作 Put（）、Write（）、Get（） 和 NewIte
BIGO 使用 Flink 做 OLAP 分析及实时数仓的实践和优化
Ververica的博客
02-08 432
▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本文整理自 BIGO Staff Engineer 邹云鹤在 Flink Forward Asia 2021 的分享。主要内...
OLAP的多维数据分析
cRyIng_gG的专栏
08-14 3072
    联机分析处理(OLAP)的概念最早是由关系数据库之父E.F.Codd于1993年提出的。当时,Codd认为联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要,SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求。因此Codd提出了多维数据库和多维分析的概念,即OLAP。 一、
大数据分析技术架构方案ppt课件.ppt
11-12
大数据分析技术架构方案主要关注如何高效地处理和分析大规模数据，以揭示隐藏的模式、趋势和洞察。这一领域的研究和实践涉及多个关键技术点，包括数据捕获、存储、处理、建模和可视化。 首先，技术基础研究方向侧重...
大数据分析的数据库管理系统
04-18
3. **实时查询与分析**：为了满足实时业务需求，大数据分析DBMS支持实时查询和分析。它们通常具有高效的索引机制和内存计算能力，如Apache Spark，能够在内存中处理数据，实现亚秒级的响应时间。 4. **弹性扩展**：...
大规模并发数据处理.pdf
08-15
【大规模并发数据处理】是指在高并发环境下对海量数据进行高效、可靠的操作。随着互联网的发展，数据量呈指数级增长，传统的单线程处理方式已无法满足需求，因此并发处理成为了必要的技术手段。本文作者黄夏结合实际...
Apache Doris数据分析超级工具 学习手册
05-07
这种架构不仅可以实现高度并行化处理，还具有良好的可扩展性和高可用性，非常适合处理大规模数据集。 **1.3 核心特性** - **基于MPP架构**：Doris采用MPP技术，能够实现高性能的数据处理。 - **性能卓越**：支持PB...
数据库 数据分析 流水线 适配
最新发布
05-23
一方面，随着数据量的激增，传统的数据库管理系统（DBMS）在处理大规模数据集时往往表现出性能瓶颈；另一方面，现代CPU的计算能力日益强大，但如何高效利用这些计算资源成为了一大难题。特别是在决策支持、联机分析...
一次应用OOM排查
jueshengtianya的专栏
04-08 579
参考：http://ifeve.com/one-java-oom/ 前段时间系统经常出现OOM，每次出现之后系统会出现各种问题，临时解决方案只能是重启，然后等找到问题后再发布解决。 线上问题日志如下： 1 Exception in thread "msgWorkTP-811568603-1-thread-6" java.lang.Ou
内存泄漏的几种情况
qq_39438055的博客
11-18 1578
文章目录1、非静态内部类持有外部类的引用 1、非静态内部类持有外部类的引用 如 Handler
Presto：基于内存的OLAP查询引擎
Java/Python大数据成长之路
12-03 981
Facebook的数据仓库存储在少量大型Hadoop/HDFS集群。Hive是Facebook在十几年前专为Hadoop打造的一款数据仓库工具。在以前，Facebook的科学家和分析师一直依靠Hive来做数据分析。Hive使用MapReduce作底层计算框架，是专为批处理设计的随着数据源的多样化、数据仓库的不断扩展以及数据湖的发展，使用Hive及时获得有用的见解可能变得困难。例如使用Hive进行一个简单的数据查询可能需要花费几分钟甚至几小时，这显然不能满足企业级交互式查询的需求。
【Flink】Flink RocksDB内存占用一直增大 state.backend.rocksdb.memory.managed
九师兄
11-11 2822
1.概述 有人遇到过RocksDB内存占用一直增大的情况吗？flink-1.13.1 版本 为什么要关掉托管内存？ iterator读并发比较高的场景，会锁定内存中的数据。关掉托管空出多点内存空间，是比较粗暴的处理方式，但很有效。有性能方面的问题再去调整rocksdb配置 如果开启rocksdb statebackend ，并且没有打开增量就会有这个问题。 配置为 state.backend.rocksdb.memory.managed ...
Java SPI机制实现插件化扩展功能
Jermy的专栏
09-20 5061
Java SPI机制实现插件化扩展功能。 我们有一个图数据库的服务，用户希望在不修改现有源代码的情况下扩展自定义的分词器，达到可插件式扩展功能的目标。通过Java的SPI机制实现插件式的扩展功能还是比较简便的。 特别的，在实现过程中遇到一个比较怪异的问题：ServiceLoader.load()时抛出NoClassDefFoundError，文末会记录一下这个问题的解决过程及原因分析。
ClickHouse：数据分析新星，快速OLAP解决方案
"这篇文档是新浪的一次技术分享，介绍了数据分析新秀ClickHouse，它是一个高性能的列式数据库管理系统，特别适用于...它的出现为大数据分析提供了新的解决方案，尤其在实时分析和大规模数据处理方面展现了强大潜力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值