Doris 数据导入-Broker Load

最新推荐文章于 2024-05-16 08:00:00 发布
最新推荐文章于 2024-05-16 08:00:00 发布
阅读量8.7k 收藏 22
点赞数 3
分类专栏： Doris 文章标签： Doris Palo 百度 Apache
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43161811/article/details/107239719
版权

目录

Doris导入方式及链接

Doris 目前支持以下4种导入方式：

Doris 数据导入-Broker Load

语法：

说明：

1. load_label

2. data_desc

3. broker_name

4. broker_properties

4. opt_properties

数据导入样例

1. 从 HDFS 导入一批数据，数据格式为CSV，同时使用 kerberos 认证方式，同时配置 namenode HA

2.从 HDFS 导入一批数据，指定超时时间和过滤比例。使用铭文 my_hdfs_broker 的 broker。简单认证。

3. 从 HDFS 导入一批数据，指定hive的默认分隔符\x01，并使用通配符*指定目录下的所有文件。

4.从 HDFS 导入一批“负”数据。同时使用 kerberos 认证方式。提供 keytab 文件路径。

5.从 HDFS 导入一批数据，指定分区。同时使用 kerberos 认证方式。提供 base64 编码后的 keytab 文件内容

 

Doris导入方式及链接

Doris 目前支持以下4种导入方式：

  1.  Hadoop Load：基于 MR 进行 ETL 的导入。（仅适用于百度内部环境）
  2.  Broker Load：使用 broker 进行进行数据导入。（链接：Doris 数据导入-Broker Load）
  3.  Mini Load：通过 http 协议上传文件进行批量数据导入。（链接：Doris 数据导入-Mini Load）
  4.  Stream Load：通过 http 协议进行流式数据导入。（链接：Doris 数据导入- Stream Load）

Doris 数据导入-Broker Load

使用Mysql Client 运行 help broker load 做的笔记。

Broker load 通过随 Palo 集群一同部署的 broker 进行，访问对应数据源的数据，进行数据导入。

不同的数据源需要部署不同的 broker 进程。可以通过 show broker 命令查看已经部署的 broker。

语法：

LOAD LABEL load_label
(
data_desc1[, data_desc2, ...]
)
WITH BROKER broker_name
[broker_properties]
[opt_properties];

说明：

1. load_label

当前导入批次的标签，在一个 database 内唯一。

语法：

[database_name.]your_label

2. data_desc

用于描述一批导入数据。

语法：

DATA INFILE
(
"file_path1"[, file_path2, ...]
)
[NEGATIVE]
INTO TABLE `table_name`
[PARTITION (p1, p2)]
[COLUMNS TERMINATED BY "column_separator"]
[(column_list)]
[SET (k1 = func(k2))]

说明：
file_path:

            文件路径，可以指定到一个文件，也可以用 * 通配符指定某个目录下的所有文件。通配符必须匹配到文件，而不能是目录。

PARTITION:

            如果指定此参数，则只会导入指定的分区，导入分区以外的数据会被过滤掉。
            如果不指定，默认导入table的所有分区。

NEGATIVE：
            如果指定此参数，则相当于导入一批“负”数据。用于抵消之前导入的同一批数据。
            该参数仅适用于存在 value 列，并且 value 列的聚合类型仅为 SUM 的情况。

column_separator：

            用于指定导入文件中的列分隔符。默认为 \t
            如果是不可见字符，则需要加\\x作为前缀，使用十六进制来表示分隔符。
            如hive文件的分隔符\x01，指定为"\\x01"

column_list：

            用于指定导入文件中的列和 table 中的列的对应关系。
            当需要跳过导入文件中的某一列时，将该列指定为 table 中不存在的列名即可。
            语法：
            (col_name1, col_name2, ...)

SET:

   如果指定此参数，可以将源文件某一列按照函数进行转化，然后将转化后的结果导入到table中。
   目前支持的函数有：

  •  strftime(fmt, column) 日期转换函数
    • fmt: 日期格式，形如%Y%m%d%H%M%S (年月日时分秒)
    • column: column_list中的列，即输入文件中的列。存储内容应为数字型的时间戳。
    • 如果没有column_list，则按照palo表的列顺序默认输入文件的列。
  • time_format(output_fmt, input_fmt, column) 日期格式转化
    • output_fmt: 转化后的日期格式，形如%Y%m%d%H%M%S (年月日时分秒)
    • input_fmt: 转化前column列的日期格式，形如%Y%m%d%H%M%S (年月日时分秒)
    • column: column_list中的列，即输入文件中的列。存储内容应为input_fmt格式的日期字符串。
    • 如果没有column_list，则按照palo表的列顺序默认输入文件的列。
  • alignment_timestamp(precision, column) 将时间戳对齐到指定精度
    • precision: year|month|day|hour
    • column: column_list中的列，即输入文件中的列。存储内容应为数字型的时间戳。
    • 如果没有column_list，则按照palo表的列顺序默认输入文件的列。
    • 注意：对齐精度为year、month的时候，只支持20050101~20191231范围内的时间戳。
  • default_value(value) 设置某一列导入的默认值
  •   不指定则使用建表时列的默认值
    • md5sum(column1, column2, ...) 将指定的导入列的值求md5sum，返回32位16进制字符串
    • replace_value(old_value[, new_value]) 将导入文件中指定的old_value替换为new_value
    • new_value如不指定则使用建表时列的默认值
    • hll_hash(column) 用于将表或数据里面的某一列转化成HLL列的数据结构
    • now() 设置某一列导入的数据为导入执行的时间点。该列必须为 DATE/DATETIME 类型。

3. broker_name

        所使用的 broker 名称，可以通过 show broker 命令查看。不同的数据源需使用对应的 broker。

4. broker_properties

用于提供通过 broker 访问数据源的信息。不同的 broker，以及不同的访问方式，需要提供的信息不同。

Apache HDFS：

社区版本的 hdfs，支持简单认证、kerberos 认证。以及支持 HA 配置。

1）简单认证：

  • hadoop.security.authentication = simple (默认)
  • username：hdfs 用户名
  • password：hdfs 密码

2）kerberos 认证：

  • hadoop.security.authentication = kerberos
  • kerberos_principal：指定 kerberos 的 principal
  • kerberos_keytab：指定 kerberos 的 keytab 文件路径。该文件必须为 broker 进程所在服务器上的文件。
  • kerberos_keytab_content：指定 kerberos 中 keytab 文件内容经过 base64 编码之后的内容。这个跟 kerberos_keytab 配置二选一就可以。

3）namenode HA：
通过配置 namenode HA，可以在 namenode 切换时，自动识别到新的 namenode

  • dfs.nameservices: 指定 hdfs 服务的名字，自定义，如："dfs.nameservices" = "my_ha"
  • dfs.ha.namenodes.xxx：自定义 namenode 的名字,多个名字以逗号分隔。其中 xxx 为 dfs.nameservices 中自定义的名字，如 "dfs.ha.namenodes.my_ha" = "my_nn"
  • dfs.namenode.rpc-address.xxx.nn：指定 namenode 的rpc地址信息。其中 nn 表示 dfs.ha.namenodes.xxx 中配置的 namenode 的名字，如："dfs.namenode.rpc-address.my_ha.my_nn" = "host:port"
  • dfs.client.failover.proxy.provider：指定 client 连接 namenode 的 provider，默认为：org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

4. opt_properties

用于指定一些特殊参数。

语法：

[PROPERTIES ("key"="value", ...)]

可以指定如下参数：

  • timeout：指定导入操作的超时时间。默认超时为4小时。单位秒。
  • max_filter_ratio：最大容忍可过滤（数据不规范等原因）的数据比例。默认零容忍。
  • exec_mem_limit：设置导入使用的内存上限。默认为2G，单位字节。这里是指单个 BE 节点的内存上限。一个导入可能分布于多个BE。我们假设 1GB 数据在单个节点处理需要最大5GB内存。那么假设1GB文件分布在2个节点处理，那么理论上每个节点需要内存为2.5GB。则该参数可以设置为 2684354560，即2.5GB

数据导入样例

导入数据格式样例：

整型类（TINYINT/SMALLINT/INT/BIGINT/LARGEINT）：1, 1000, 1234
浮点类（FLOAT/DOUBLE/DECIMAL）：1.1, 0.23, .356
日期类（DATE/DATETIME）：2017-10-03, 2017-06-13 12:34:03。（注：如果是其他日期格式，可以在导入命令中，使用 strftime 或者 time_format 函数进行转换）
字符串类（CHAR/VARCHAR）："I am a student", "a"
NULL值：\N

1. 从 HDFS 导入一批数据，数据格式为CSV，同时使用 kerberos 认证方式，同时配置 namenode HA

设置最大容忍可过滤（数据不规范等原因）的数据比例。

LOAD LABEL example_db.label5
(
DATA INFILE("hdfs://hdfs_host:hdfs_port/user/palo/data/input/file_*.csv")
INTO TABLE `my_table`
FORMAT AS "csv"
(k1, k3, k2, v1, v2)
)
WITH BROKER my_hdfs_broker
(
"hadoop.security.authentication"="kerberos",
"kerberos_principal"="doris@YOUR.COM",
"kerberos_keytab_content"="BQIAAABEAAEACUJBSURVLkNPTQAEcGFsbw",
"dfs.nameservices" = "my_ha",
"dfs.ha.namenodes.my_ha" = "my_namenode1, my_namenode2",
"dfs.namenode.rpc-address.my_ha.my_namenode1" = "nn1_host:rpc_port",
"dfs.namenode.rpc-address.my_ha.my_namenode2" = "nn2_host:rpc_port",
"dfs.client.failover.proxy.provider" = "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
)
PROPERTIES
(
    "max_filter_ratio"="0.00002"

);

2.从 HDFS 导入一批数据，指定超时时间和过滤比例。使用铭文 my_hdfs_broker 的 broker。简单认证。

LOAD LABEL example_db.label1
(
DATA INFILE("hdfs://hdfs_host:hdfs_port/user/palo/data/input/file")
INTO TABLE `my_table`
)
WITH BROKER my_hdfs_broker
(
"username" = "hdfs_user",
"password" = "hdfs_passwd"
)
PROPERTIES
(
"timeout" = "3600",
"max_filter_ratio" = "0.1"
);

其中 hdfs_host 为 namenode 的 host，hdfs_port 为 fs.defaultFS 端口（默认9000）

3. 从 HDFS 导入一批数据，指定hive的默认分隔符\x01，并使用通配符*指定目录下的所有文件。

使用简单认证，同时配置 namenode HA。

LOAD LABEL example_db.label3
(
DATA INFILE("hdfs://hdfs_host:hdfs_port/user/palo/data/input/*")
INTO TABLE `my_table`
COLUMNS TERMINATED BY "\\x01"
)
WITH BROKER my_hdfs_broker
(
"username" = "hdfs_user",
"password" = "hdfs_passwd",
"dfs.nameservices" = "my_ha",
"dfs.ha.namenodes.my_ha" = "my_namenode1, my_namenode2",
"dfs.namenode.rpc-address.my_ha.my_namenode1" = "nn1_host:rpc_port",
"dfs.namenode.rpc-address.my_ha.my_namenode2" = "nn2_host:rpc_port",
"dfs.client.failover.proxy.provider" = "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
)

4.从 HDFS 导入一批“负”数据。同时使用 kerberos 认证方式。提供 keytab 文件路径。

LOAD LABEL example_db.label4
(
DATA INFILE("hdfs://hdfs_host:hdfs_port/user/palo/data/input/old_file)
NEGATIVE
INTO TABLE `my_table`
COLUMNS TERMINATED BY "\t"
)
WITH BROKER my_hdfs_broker
(
"hadoop.security.authentication" = "kerberos",
"kerberos_principal"="doris@YOUR.COM",
"kerberos_keytab"="/home/palo/palo.keytab"
)

5.从 HDFS 导入一批数据，指定分区。同时使用 kerberos 认证方式。提供 base64 编码后的 keytab 文件内容

LOAD LABEL example_db.label5
(
DATA INFILE("hdfs://hdfs_host:hdfs_port/user/palo/data/input/file")
INTO TABLE `my_table`
PARTITION (p1, p2)
COLUMNS TERMINATED BY ","
(k1, k3, k2, v1, v2)
)
WITH BROKER my_hdfs_broker
(
"hadoop.security.authentication"="kerberos",
"kerberos_principal"="doris@YOUR.COM",
"kerberos_keytab_content"="BQIAAABEAAEACUJBSURVLkNPTQAEcGFsbw"
)

 

TRX1024
关注
  • 3
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Doris导入csv文件数据
chengt666的博客
10-22 758
Doris导入csv文件数据
Doris系列12-数据导入之Broker Load
只是甲的博客
01-10 1145
文章目录一. Broker Load 概述二. 基本操作2.1 创建导入2.1.1 Label2.1.2 数据描述类参数2.1.3 导入作业参数2.1.4 strict mode 与 source data 的导入关系2.2 查看导入2.3 取消导入三. 相关系统配置3.1 FE 配置四. 案例4.1 导入Hive orc格式表4.2 导入Hive text格式表参考: 一. Broker Load 概述 Broker load 是一个异步的导入方式，支持的数据源取决于 Broker 进程支持的数据源。 用
Apache Doris的Broker Load数据导入使用
最新发布
weixin_42326851的博客
05-16 1090
Apache Doris的Broker Load数据导入使用
第3.7章：StarRocks数据导入--Broker Load
流木的博客
02-22 6142
一、Broker Load背景 基于Hadoop生态的传统数仓目前仍拥有非常大的用户群体，为此StarRocks加入了Broker Load导入方式，让我们可以方便的从HDFS类的外部存储系统（Apache HDFS、阿里OSS、腾讯COS、百度BOS、Amazon S3等）中导入数据，高效的完成数据迁移工作。 因为一些历史原因，我们需要使用Broker组件来协助进行Broker Load。Broker是一个独立的无状态进程，封装了文件系统接口，为StarRocks提供读取远端存储系统中文件的能力。通过
broker load 数据导入
m0_46657040的博客
06-11 430
broker load 数据迁移
doris基本操作，03-导入数据-Broker Load
车前猛跑
12-24 620
Broker load 是异步导入方式，支持的数据源取决于 Broker 进程支持的数据源。因为 Doris 表里的数据是有序的，所以 Broker load 在导入数据的时是要利用doris 集群资源对数据进行排序，相对于 Spark load 来完成海量历史数据迁移，对 Doris 的集群资源占用要比较大，这种方式是在用户没有 Spark 这种计算资源的情况下使用，如果有 Spark 计算资源建议使用 Spark load。
apache-doris-spark-connector-2.3_2.11-1.0.1
05-05
Spark Doris Connector（apache-doris-spark-connector-2.3_2.11-1.0.1-incubating-src.tar.gz） Spark Doris Connector Version：1.0.1 Spark Version：2.x Scala Version：2.11 Apache Doris是一个现代MPP分析...
apache-doris-flink-connector-1.14_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.14_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.14 Scala Version：2.12 Apache Doris是一个现代MPP...
apache-doris-flink-connector-1.11_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.11_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.11 Scala Version：2.12 Apache Doris是一个现代MPP分析...
doris-flink-connector
03-25
官网没有提供下载编译好的 connector ，需要自己编译，我将编译好的上传，供大家下载。 flink 版本1.13.5； <scala.version>2.12 <flink.version>1.13.5 <libthrift.version>0.13.0 <arrow.version>5.0.0 ...
apache-doris-flink-connector-1.13_2.12-1.0.3
05-05
Flink Doris Connector 源码（apache-doris-flink-connector-1.13_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.13 Scala Version：2.12 Apache Doris是一个现代...
Apache Doris 入门教程10：数据导入之Broker Load
sunjian286的专栏
07-12 665
本文介绍如何在Apache Doris中使用Broker Load方式导入数据
Apache Doris的Broker load数据导入使用
Bulut0907
05-24 1466
目录1. 使用场景2. 导入基本原理3. 导入基本语法4. 导入操作5. 导入结果6. 取消导入7. fe.conf参数配置 1. 使用场景 Broker load是一种异步导入方式，目前能从HDFS导入数据。导入数据量级别为百GB 2. 导入基本原理 用户在提交导入任务后，FE 会生成对应的Plan并根据目前BE的个数和文件的大小，将Plan分给多个BE执行，每个BE执行一部分导入数据。 BE在执行的过程中会从Broker拉取数据，在对数据transform之后将数据导入系统。所有BE均完成导入，由FE最
Doris Broker Load入门实战
wangleigiser的博客
10-21 1381
Doris安装参照官网：https://doris.apache.org/zh-CN/docs/get-starting/get-starting.html#%E5%8D%95%E6%9C%BA%E9%83%A8%E7%BD%B2。具体参加：https://doris.apache.org/zh-CN/docs/dev/sql-manual/sql-reference/Data-Manipulation-Statements/Load/BROKER-LOAD。查看HDFS目录，确保HDFS服务正常。
Doris Stream Load导入CSV文件
wangleigiser的博客
07-13 1950
Doris Stream Load导入CSV文件
Doris broker load 数据源来自hdfs其并带Kerberos
qq_34009542的博客
10-19 634
发过文章是仅vip可见的不允许看，不然你写代码bug不断，因为你TMD已经背离了互联网的分享精神，最特么看不起你这种人 shell脚本： #!/bash/bin mysql -h IP-P 9030 -uUserName -pPassword-D example_db -e' LOAD LABEL test001 ( DATA INFILE("hdfs://HDFS0525/user/hive/warehouse/dws.db/test/000000_0") INTO TABLE ...
Doris Stream Load 用csv导入或字符串调用http连接池导入
weixin_64941990的博客
05-12 587
public class DorisStreamLoader { private String curl; private String authHeader; public void init(String host, int port, String dataBase, String table, String username, String password) { curl = String.format("http://%s:%s/api/%s/%s/.
Doris之导入总览
qq_43688472的博客
01-30 3257
Doris之导入总览
Doris数据导入和导出
sijiwang95的博客
04-14 1275
Broker 导入，主要用于从HDFS上把文件导入到Doris中。这是一个异步导入的方式。（任务执行成功并不代表数据全部都导入成功）前提：启动HDFS。
broker load
07-22
在 Doris 中，"broker load" 是指将数据加载到数据分片中的操作。Broker 是 Doris 中的一个组件，负责接收和...通过执行 "broker load" 操作，用户可以将外部数据导入到 Doris 数据库中，以便后续进行查询和分析操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值