大数据-DORIS通过Broker数据泵批量导入、导出数据

一、数据导出
Step1：把要导出的数据放到一张表中

 create table 新表 as select * from 旧表  partition(p20240522)

2.去hdfs下创建导出目录（创建hdfs目录不会创建实体目录）

hdfs dfs -mkdir -p /doris/hidcp/shebeizu

3.doris中导出配置下面的表和导出目录(需要导出到hdfs的“活动的”namenode节点上)

export table shebeizu

to "hdfs://13.75.165.1

4.从hdfs中拷贝到服务器当前目录

hdfs dfs -copyToLocal /doris/hidcp/flat_data1(hdfs创建的目录)  ./(服务器本地目录，此处表示当前目录，也可以使用绝对路径)

二、数据导入

Step1：准备工作：

登录doris管理地址，查看broker是否全部启动：http://10.16.1.73:9060/

都为True，即无问题。

Step2：如果部署了高可用，查看NameNode，登录http://10.16.1.73:7180/ ，查看CDH NameNode：

Step3：数据导入：
1、将第一步获取到的数据copy到服务器上（必须是节点服务器）

解压（如果需要）后目录为A，例如/home/qhd
创建hdfs目录，例如hdfs dfs -mkdir -p /doris/qhd/

将解压后的数据copy到hdfs上，指令如下：hdfs dfs -copyFromLocal   /home/qhd/* (服务器上解压后的目录)   doris/qhd/(hdfs上新创建的目录)

等待解压完成,登录Doris数据库，执行以下命令：

load label qhd202406170005

(

DATA INFILE("hdfs://10.16.1.73:8020/doris_qhd/detect_speed_data_51/*")

INTO TABLE `detect_speed_data_new_raw`

columns TERMINATED BY "|")

with BROKER "broker_name";

备注①：10.16.1.73是Step2中Namenode对应的服务器IP，如果部署了高可用，可能会有变化

备注②：数据分隔方式  "|"，根据数据导出时的指令确定

7、查看进度：show load where label='qhd202406170005';