Doris的StreamLoad任务报错transaction commit successfully, BUT data will be visible later

最新推荐文章于 2024-04-29 14:46:15 发布
最新推荐文章于 2024-04-29 14:46:15 发布
阅读量170 收藏
点赞数
分类专栏： 大数据 文章标签： doris
原文链接：https://blog.csdn.net/qq_37865420/article/details/122062694
版权


spark任务去使用http协议直接连接doris be节点进行streamLoad任务的数据传输（hive->Doris）,分批次的streamLoad

但是运行了一段时间
Doris的StreamLoad任务报错
transaction commit successfully, BUT data will be visible later


分析

有一批次streamLoad任务报错
实际是publish超时了

这个猜测可能是fe处理不过来，提高单次导入的吞吐,
也可能be 有压力来不及publish了

解决办法
降低streamLoad任务每批次的频次
提高单次导入的数据量
保证总的数据量不变
这个解决办法是建议性的，并未尝试

因为后来我又等集群恢复了后
重试了几次，streamLoad就恢复了，不在报错了

zxfBdd
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Apache Doris (三十四）：Doris Stream Load（1）-基本原理及语法
qq_32020645的博客
07-22 219
抓紧订阅专题！Stream load 是一个同步的导入方式，用户通过发送 HTTP 协议发送请求将本地文件或数据流导入到 Doris 中。Stream load 同步执行导入并返回导入结果。用户可直接通过请求的返回体判断本次导入是否成功。Stream load 主要适用于导入本地文件，或通过程序导入数据流中的数据，建议的导入数据量在 1G 到 10G 之间。由于 Stream load 是一种同步的导入方式，所以用户如果希望用同步方式获取导入结果，也可以使用这种导入。
doris be报错：sysctl -w vm.max_map_count=2000000
最新发布
JustinMars的博客
05-06 197
doris be 报错
【Doris】通过Stream Load解决Doris同步产生err=-235 or -215 or -238问题
yuanling_123的博客
04-12 2183
Stream Load 是一个同步的导入方式，用户通过发送 HTTP 协议发送请求将本地文件或数据流导入到 Doris 中。Stream load 同步执行导入并返回导入结果。用户可直接通过请求的返回体判断本次导入是否成功。Stream Load 主要适用于导入本地文件，或通过程序导入数据流中的数据。Stream load 中，Doris 会选定一个节点作为 Coordinator 节点。该节点负责接数据并分发数据到其他数据节点。用户通过 HTTP 协议提交导入命令。
【Apache Doris】周FAQ集锦：第 2 期
ith321的博客
04-04 1410
【Apache Doris】周FAQ集锦：第 2 期
Cannot commit, transaction is already closed
yaNew123的博客
08-24 465
Cannot commit, transaction is already closed
Transaction is already completed - do not call commit or rollback more than 解决
HXD933644的博客
04-02 2874
Transaction is already completed - do not call commit or rollback more than 原因就是因为事务重复commit
doris启动be报错Connection refused
05-10
这个错误通常表示Doris的Backend进程无法连接到MetaServer，导致无法启动。可以通过以下步骤尝试解决： 1. 检查MetaServer是否已经正常启动，并且MetaServer的IP和端口是否正确配置在Doris的配置文件中。 2. 检查...
Doris 数据集成 Kafka
热门推荐
04-26 6万+
这是我们Doris 数据集成篇的第二篇，前面我们介绍过通过 Catalog进行集成的例子目前公司的很多数据服务都开始使用Doris 了，目前使用下来感觉还是很方便的，比起Hadoop 那一套少了很多运维的成本，而且整体的效率也不错，现在也要把ELK 那一套日志分析的替换掉，后面日志分析也走Doris。关于如何使用Doris做日志分析，可以参考之前的文章，不过第一步也不是日志分析，而是如何对接Kafka ，因为目前日志数据是在kafka 里的，这里我调研了一下使用Flink 和 Doris 的。
Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据类型不兼容报错解决
helloxiaozhe的博客
01-12 1622
Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据，但部分doris类型spark doris connector不兼容报错解决方案 .spark.exception.ConnectedFailedException: Connect to Doris BE{host='172.xxx.yyyy.10', port=9060}failed.
Doris 日志分析案例
04-29 6万+
前面我们介绍了，和，今天我们来看一个具体的案例，因为日志数据往往都是写到kafka 或者，是通过日志收集工具收集到kafka 中的。所以我们如果想要使用Doris进行日志分析的话，那我们需要做的一件事情，就是同步数据到Doris，这也就是我们前面介绍的功能，只不过我们上一节只是创建了一个测试的topic 和表，这一节我们看一个真实的案例。
使用stream load向doris写数据的案例
weixin_45399602的博客
03-01 1488
使用stream load向doris写数据的案例 代码涉及到的依赖如下 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.2</version> </dependency> <
【Doris】Doris通过streamLoad导入数据报错
azx321的专栏
04-02 418
可以在客户端执行：show backends 命令查看BE信息，获取ip。导入命令中，host需要填写BE的ip地址，端口默认8040。
Apache Doris 入门教程13：数据导入之Stream load
sunjian286的专栏
07-22 1267
本文简要介绍如何在Apache Doris中通过Stream load进行数据导入
Doris(0.15.1-rc09)使用Datax-DorisWrite导致BE固定节点streamLoad任务过多问题排查
weixin_43914798的博客
11-17 1022
Doris(0.15.1-rc09)使用Datax-DorisWrite导致BE固定节点streamLoad任务过多问题排查
doris写入超时
paulgeorge9527的博客
11-29 3011
flinkcdc写入doris连接超时
一致性算法之二： 两阶段提交协议 完整易理解
dellme99的专栏
11-05 3483
前提条件 系统节点分为：其中一个节点被设置为协调者，其他节点设置为参与者。 假定在每个节点上都有一个使用write-ahead log的稳定数据存储节点，说白了可以打日志，而且日志在persistent 存储中 。如果要成功，那么在收到commit前没有节点崩溃，write-log的日志保证不丢失，并且协调者和任意参与者都可以互相通信。所以如果要成功的话，条件还是很严格的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值