StarRocks调优 - Broker Load导入

VIP文章 Asware

已于 2022-01-19 21:37:25 修改

阅读量3.2k

点赞数

分类专栏：数据仓库文章标签：数据仓库

于 2022-01-19 21:31:09 首次发布

本文链接：https://blog.csdn.net/asware/article/details/122587928

版权

Broker Load是StarRocks离线导入方式，用于将存储在HDFS、S3、OSS等外部存储的数据导入到StarRocks，支持CSV、ORCFile、Parquet等文件格式，适用于几十GB到上百GB的数据导入。

Broker部署

Broker Load通过Broker进程访问远端存储，因此使用Broker Load前需要搭建好Broker。Broker的搭建分为三步：

1、切换到StarRocks的安装目录下，进入apache_hdfs_broker/conf目录

可根据需要修改broker配置，另外，如果要访问HDFS，需要将hdfs-site.xml拷贝到conf目录下

2、启动Broker

$ cd $STARROCKS_HOME/apache_hdfs_broker
$ bin/start_broker.sh --daemon

3、添加Broker节点到集群中，并确认启动成功，如果Alive为false，到log下查看具体报错信息并修复后重启

MySQL> ALTER SYSTEM ADD BROKER broker1 "192.168.1.10:8000";
MySQL> SHOW PROC "/brokers" \G
*************************** 1. row ***************************
          Name: broker1
            IP: 192.168.1.10
          Port: 8000
         Alive: true
 LastStartTime: 2022-01-19 19:08:35
LastUpdateTime: 2020-0-19 19:08:45
        ErrMsg: 
1 r