StarRock数据导入过大导致BE挂掉--坑3

最新推荐文章于 2024-09-27 19:57:38 发布
最新推荐文章于 2024-09-27 19:57:38 发布
阅读量1.3k 收藏
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31723513/article/details/125507943
版权

今天在做数据迁移的时候遇到一个奇葩的问题，通过CloudCanal把Mysql里的数据同步到StarRocks里，数据量1200W，出现一个问题至今没有解决的是数据丢失，但是数据量在少于1000W的时候是没有丢失的。这不是我要讲的重点，我要说的重点是StarRocks在接收大量数据的时候，由于内存不足会出现BE结点挂掉，咱办呢？

 

这么办：首先我们想到的就是重启，没有用，试了三次，本来想删除重建的，想到数据导入不容易，就扩容一下，然后重启完美解决。给我最大的教训就是一定要预估数据量，数据量太大会直接把BE结点压挂了

OLAP_StarRocks
关注
StarRocks从入门到精通系列五：导入数据
zhengzaifeidelushang的博客
11-16 1309
StarRocks从入门到精通系列五：导入数据
StarRocks从入门到精通系列三：创建表和导入和查询数据
zhengzaifeidelushang的博客
11-16 1805
StarRocks从入门到精通系列三：创建表、导入和查询数据
StarRocks BE节点崩溃原因查找及解决思路：std::bad_alloc
曲奇饼的专栏
01-06 3917
问题分析 StarRocks BE 5个节点突然在几分钟内全部掉线。查找BE的be.out日志，并给出解决思路。
StarRocks日常总结-BE节点Decommission和Drop
qq_35200943的博客
01-03 1525
通过阅读StarRocks的源码中BE节点的退役与删除的区别，加上了自己的一些实际使用的体验，总结了本文，读者不用阅读源码就可以很轻易的理解StarRocks的一些底层逻辑。
【性能优化】低配starRocks常驻内存优化
最新发布
记录生活
09-27 1205
由于服务器的实际资源小于starRocks官方的配置，导致starRocks在无任务的情况下，常驻内存偏高，可用于查询的资源变小。实际部署的集群一般是4C8G和8C16G，be的配置不达标为了解决单次查询内存不足的问题，提升系统稳定性。放弃starRocks默认开启的通过内存换时间的优化逻辑，降低内存使用。
故障修复集锦-记一次StarRocks导入导致be频繁OOM
u013836748的博客
12-18 1507
现象 从4个节点扩容到7个节点 发起了一次300G数据的导入后， 7台中有3个be进程持续OOM造成进程重启 调查过程 监控 系统监控到，64G的内存，几分钟便OOM 系统日志 dmesg -T里能看到类似这样的东西： out of memory kill process dorisdb_be score 977 or sacrifice child Compaction score 执行如下指令看到5千多的score: grep "highest_score=" be
StarRocks 导入数据坑-1
qq_31723513的博客
06-23 734
NULL值的数据内容转化为\N
DataX同步数据到StarRocks问题记录
凉茶冰
09-10 3932
DataX同步mysql数据到StarRocks遇到的关于特殊字符等相关问题总结。
Starrocks数据导入方式
zxf126126的博客
08-13 403
FE收到作业请求之后，会分配给每个任务消费kakfa的分区每个任务会把任务封装成 Stream Load ，选择一台BE作为Coordinator，Coordinator从kafka拉取足够的数据，分拣之后发送到ExecuteBE上 完成数据导入然后再把执行结果一步步往上汇报kafka数据导入作业，已导入的数据的offset 是保存在SR端的。
starrock1亿数据量建议分桶大小
06-13
如果桶的大小过大，可能会导致某些节点负载过重，影响系统的性能；如果桶的大小过小，可能会导致数据分布不均，影响查询效率。因此，建议通过实验来确定最优的分桶大小，以达到最佳的系统性能。
Flink系列之：使用Flink Mysql CDC基于Flink SQL同步mysql数据到StarRocks数据库
zhengzaifeidelushang的博客
01-29 1290
Flink系列之：使用Flink Mysql CDC基于Flink SQL同步mysql数据到StarRocks数据库
【踩坑记录】starrocks hive Length的用法
sinyonde的博客
04-24 200
在公司平台用starrocks hive 使用length()做筛选条件, 和使用spark 返回的结果一致，然而在公司另一个查询平台上却筛选不出结果，最终发现是starrocks hive 中length() 一个中文字符算3个字符长度。
StarRocks导入问题:too many tablet version解决方法
weixin_43993184的博客
02-17 7116
背景： 实时导入过程中经常遇到导入失败报错too many tablet version的情况，此原因是因为StarRocks内部，表级别version数量有1000的限制，通常见于数据写入频次过高，数据合并来不及从而堆积大量的verison。本文主要介绍此种情况下如何恢复导入任务。 现象： 导入失败时检索be日志 grep 'too many tablet versions' /data/xxx/starrocks/be/log/be.WARNING 会发现如下错误 恢复步骤：
第3.7章：StarRocks数据导入--Broker Load
流木的博客
02-22 6675
一、Broker Load背景 基于Hadoop生态的传统数仓目前仍拥有非常大的用户群体，为此StarRocks加入了Broker Load导入方式，让我们可以方便的从HDFS类的外部存储系统（Apache HDFS、阿里OSS、腾讯COS、百度BOS、Amazon S3等）中导入数据，高效的完成数据迁移工作。 因为一些历史原因，我们需要使用Broker组件来协助进行Broker Load。Broker是一个独立的无状态进程，封装了文件系统接口，为StarRocks提供读取远端存储系统中文件的能力。通过
左边是 BE 进程的内存总占用，右边是索引的内存总占用
feidododekefu的博客
11-15 522
左边是 BE 进程的内存总占用，右边是索引的内存总占用
StarRocks日常运维之“压缩雪崩”
qq_35200943的博客
01-05 1338
记录一次StarRocks压缩雪崩的调查及解决流程
StarRocks故障恢复 - 单副本表恢复
非典型性程序猿
01-18 2522
本文介绍StarRocks单副本情况下的故障恢复方法。
大数据StarRocks(三) StarRocks数据表设计_starrocks单表存储数据多大
2401_84181986的博客
04-28 874
（1）数据冷热特征，比如最近几天的数据才需要修改，老的冷数据很少需要修改，比如订单数据，老的订单完成后就不在更新，并且分区是按天进行分区的，那么在导入数据时历史分区的数据的主键就不会被加载，也就不会占用内存了，内存中仅会加载近几天的索引。表中的每列数据有各自的行号索引表, 列的数据块和行号索引项一一对应, 索引项由数据块的起始行号和数据块的位置和长度信息构成, 用数据行的行号查找行号索引表, 可以获取包含该行号的数据块所在位置, 读取目标数据块后, 可以进一步查找数据.创建表时，支持定义排序键。
StarRocks Grafana 监控指标介绍
Acer12138的博客
06-29 3379
StarRocks 社區版 監控項
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值