StarRocks使用 - Stream Load or Broker Load

本文介绍了StarRocks的两种数据导入方式:Stream Load和Broker Load。Stream Load是同步的,适合小到中型数据量导入,而Broker Load是异步的,适用于大规模数据导入。两者在内存管理和数据处理上有区别,优化策略包括文件切分和并行度调整。
摘要由CSDN通过智能技术生成

Stream Load与Broker Load简介

StarRocks的导入(Load)功能就是将用户的原始数据导入到 StarRocks表中。StarRocks底层实现了统一的流式导入框架,而在这个框架之上,StarRocks提供了非常丰富的导入方式以适应不同的数据源和数据导入需求。Stream Load和Broker Load是其中经常使用的两种。

Stream Load是一种同步执行的导入方式。用户通过HTTP协议发送请求将本地文件或者数据流中的数据导入到StarRocks中,并等待系统返回导入的结果状态,从而判断导入是否成功。

Broker Load通过Broker进程访问并读取外部数据源,采用MySQL协议向StarRocks创建导入作业。提交的作业将异步执行,用户可以通过SHOW LOAD命令查看导入结果。

Stream Load or Broker Load 

Broker load 在底层数据处理上跟 Stream Load 一样,只是调度上有些不同。 Stream Load是同步导入方式,用户通过Http访问的方式将CSV格式或JSON格式的数据批量地导入StarRocks,并返回数据导入的结果。这种方式会把数据缓存到内存中。Broker Load是异步方式导入,除CSV/Json外,还支持Parquet/ORC,Broker load顺序读取文件,不需要一下子把

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值