Doris开启Stream Load记录

最新推荐文章于 2024-05-03 15:43:02 发布

wangleigiser

最新推荐文章于 2024-05-03 15:43:02 发布

阅读量968

点赞数 2

分类专栏： Doris 文章标签：大数据数据仓库

本文链接：https://blog.csdn.net/wangleigiser/article/details/125890026

版权

Doris 专栏收录该内容

38 篇文章 10 订阅

订阅专栏

标题问题背景

有些用户想收集Stream Load的导入状态，以便能对导入失败的数据进行分析和处理。
Doris 的 show load 命令默认不支持查看Stream Load导入记录。
要查询Stream Load导入记录需要在 be.conf 里加配置：enable_stream_load_record=true，并使用SHOW STREAM LOAD 命令查询。

Doris查询Stream Load记录实现

修改BE配置

# 1. 编辑be.conf
vim be/conf/be.conf
# 2. 添加enable_stream_load_record = true配置，开启记录stream_load_record
enable_stream_load_record = true

数据导入

curl --location-trusted -u bigdata:mypss  -T stream_load_data.csv -H "column_separator:," -H "label:alex-2" http://127.0.0.1:18030/api/php_doris/doris_test_sink/_stream_load

具体数据见：Doris Stream Load导入CSV文件

任务查看

mysql> SHOW STREAM LOAD \G;
*************************** 1. row ***************************
         Label: alex-2
            Db: php_doris
         Table: doris_test_sink
          User: bigdata
      ClientIp: 172.17.0.3
        Status: Success
       Message: OK
           Url: N/A
     TotalRows: 12
    LoadedRows: 12
  FilteredRows: 0
UnselectedRows: 0
     LoadBytes: 315
     StartTime: 2022-07-20 04:48:22.570
    FinishTime: 2022-07-20 04:48:22.681

5 rows in set (0.00 sec)

ERROR: 
No query specified