Apache Doris (三十）：Doris 数据导入(八）Spark Load 3- 导入HDFS数据

最新推荐文章于 2024-09-07 10:02:05 发布
最新推荐文章于 2024-09-07 10:02:05 发布
阅读量659 收藏
点赞数
分类专栏： 大数据OLAP体系技术栈 文章标签： doris olap 实时数仓 数据仓库 大数据 分布式数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/131776679
版权
本文详细介绍了如何使用Spark Load将HDFS数据导入到Apache Doris，包括准备HDFS数据、创建Doris表、创建Spark Load任务及查看任务状态。在创建表时需要注意字段类型限制，且导入过程中需指定Active NameNode。导入完成后，可通过Yarn WebUI或Doris命令检查任务状态。
摘要由CSDN通过智能技术生成

目录

1. 准备HDFS数据

2. 创建Doris表

3. 创建Spark Load导入任务

4. 查看导入任务状态

进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！

宝子们订阅、点赞、收藏不迷路！抓紧订阅专题！

下面以导入HDFS中数据到Doris表为例，介绍Spark Load的使用，这里使用“spark1”Spark Resource 。

1. 准备HDFS数据

准备spark_load_data.csv数据文件，内容如下。

spark_load_data.csv:

1,zs,18,100

2,ls,19,101

3,ww,20,102

4,ml,21,103

5,tq,22,104
了解本专栏 订阅专栏 解锁全文
IT贫道
关注
专栏目录
订阅专栏
Apache Doris (二十九）：Doris 数据导入(七）Spark Load 2- Doris创建Spark Resource
qq_32020645的博客
07-17 380
抓紧订阅专题！Spark 作为一种外部计算资源在 Doris 中用来完成ETL工作，因此我们引入 resource management 来管理 Doris 使用的这些外部资源。这里我们创建Spark Resource，Spark Resource 可以指定成Spark Standalone client模式、cluster模式，也可以指定成Yarn Client、Yarncluster模式，下面以Yarn Cluster 模式对Spark Resource进行演示。
Apache Doris (三十一）：Doris 数据导入(九）Spark Load 4- 导入Hive数据及注意事项
qq_32020645的博客
07-19 1746
3) 使用Spark Load时spark_home_default_dir配置项没有指定spark客户端根目录。2) 使用 Spark Load 时如果没有在 spark 客户端的 spark-env.sh 配置 HADOOP_CONF_DIR 环境变量，会报 When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. 错误。默认为 false，关闭此功能。
Doris数据导入总结
zxf126126的博客
08-09 518
最近学习了Doris数据导入相关知识，记录一下自己的理解，仅供大家参考。
Doris hdfs数据导入doris动态分区表
@羲凡—只为更好的活着
01-07 3804
@羲凡——只为了更好的活着 Doris hdfs数据导入doris动态分区表 本文重点 1.动态分区表创建 2.读取路径作为分区参数 3.预聚合增加count列——set (cnt = 1) 4.broker load 的 hdfs HA 配置 前期准备 1.安装好doris——Doris 编译安装(完整版) 2.doris基本知识扫盲 Doris的数据模型主要分为3类:Aggregate、Duplicate、Unique; Doris支持单分区和复合分区两种建表方式; 单分区指的是只指定分桶; 复合分区指
doris数据导入超详细教程
最新发布
很开心你能来~
09-07 511
doris数据导入
Doris Spark Load 记录
weixin_39750695的博客
01-04 1025
在使用 Apache Doris Spark Load 中遇到的问题记录，每个人的环境不同可能遇到的问题 不一样，记录一下希望能帮助到大家
Apache Doris Spark Load快速体验之Spark部署（1）
ith321的博客
07-23 1392
Apache Doris Spark Load快速体验之Spark部署（1）
Apache Doris 数据导入：Insert Into语句；Binlog Load；Broker Load；HDFS Load；Spark Load；例行导入（Routine Load）
学亮编程手记
02-12 2193
Doris 中的所有导入操作都有原子性保证，即一个导入作业中的数据要么全部成功，要么全部失败，不会出现仅部分数据导入成功的情况。一个导入作业都会有一个 Label。这个 Label 是在一个数据库（Database）下唯一的，用于唯一标识一个导入作业。Label 可以由用户指定，部分导入功能也会由系统自动生成。Label 是用于保证对应的导入作业，仅能成功导入一次。一个被成功导入的 Label，再次使用时，会被拒绝并报错 Label already used。
Apache Doris (二十八）：Doris 数据导入(六）Spark Load 1- 原理及配置
qq_32020645的博客
07-16 805
抓紧订阅专题！Spark load 通过外部的 Spark 资源实现对导入数据的预处理，提高 Doris 大数据量的导入性能并且节省 Doris 集群的计算资源。Spark Load 最适合的场景就是原始数据在文件系统（HDFS）中，数据量在 几十 GB 到 TB 级别，主要用于初次迁移，大数据量导入 Doris 的场景。
spark sql读取hive数据直接写入doris，离线批量导入
qq_31866793的博客
09-16 3012
一，sparksql读取hive表 二，spark自定义输出 三，通过streamload方式数据写入doris 四，测试 五，总结
大数据-DORIS通过Broker数据泵批量导入、导出数据
weixin_55660485的博客
06-27 523
将解压后的数据copy到hdfs上，指令如下：hdfs dfs -copyFromLocal /home/qhd/* (服务器上解压后的目录) doris/qhd/(hdfs上新创建的目录)hdfs dfs -copyToLocal /doris/hidcp/flat_data1(hdfs创建的目录) ./(服务器本地目录，此处表示当前目录，也可以使用绝对路径)创建hdfs目录，例如hdfs dfs -mkdir -p /doris/qhd/解压（如果需要）后目录为A，例如/home/qhd。
dorisdb_be_hdfs_udf.zip
06-02
appache doris be 后端存储节点
doris跨hdfs集群迁移数据
weixin_45249411的博客
06-01 704
【代码】doris跨hdfs集群迁移数据。
4.Doris数据导入导出
woshiwjma956的博客
01-25 2236
该功能可以将用户指定的表或分区的数据，以指定的文件格式，通过 Broker 进程或 S3协议/HDFS协议 导出到远端存储上，如 对象存储 / HDFS。Doris 的每一个导入作业，不论是使用 Broker Load 进行批量导入，还是使用 INSERT 语句进行单条导入，都是一个完整的事务操作。Doris支持创建外部表，创建完成之后可以通过SELECT语句直接查询外部表的数据，也可以通过INSERT INTO SELECT 的方式导入外部表的数据。用户可以修改已经创建的作业的部分属性。
第3.8章：StarRocks数据导入--Spark Load
流木的博客
02-23 3865
Spark Load是通过外部的Spark资源实现对导入数据的预处理，进而提高StarRocks大数据量的导入性能，同时也可以节省StarRocks集群的计算资源。Spark Load的操作本身不复杂，但涉及的技术栈比较多，架构相对较重，所以主要用于初次迁移、构建全局字典、大数据量导入等场景（数据量可到TB级别）。 通常来说，Spark Load的整体逻辑是：读Hadoop数据源中的数据文件-->使用Spark自己的计算资源进行ETL-->将ETL后的文件保存到计算资源中配置的Hadoop中-
hadoop3.3.6的快速部署,并使用broker将数据从hdfs导入到doris
qq_18379607的博客
11-28 283
其中 192.168.1.210 是你服务器的地址,9000是端口,这个在doris的broker组件从doris读取数据时需要,这个在java类编程读取数据时也需要,可以理解为对外的ip。/root/hadoop/hadoop-3.3.6/etc/hadoop 中的core-site.xml。否则在执行start-all.sh的时候,会报错,在此记不清具体步骤了 可以在启动时进行查看,– hadoop.tmp.dir 默认是 /tmp/hadoop-root/1.首次启动之前需要format操作。
spark中load数据
独孤飞磊
04-29 1133
1、从本地load（适用于textfile表） load data local inpath '/home/hadoop/cData.txt' overwrite into table dm_user_info partition ( spark_load_date = '20190312'); 2、从hdfs中load（适用于carbondata表） load data inpath '/home/hadoop/cData.txt' overwrite into table dm_user_info p
Apache Doris (二十七）：Doris 数据导入(五）HDFS Load
qq_32020645的博客
07-15 636
抓紧订阅专题！HDFS Load主要是将HDFS中的数据导入到Doris中，Hdfs load 创建导入语句，导入方式和基本相同，只需要将 WITH BROKER broker_name语句替换成 With HDFS即可。下面演示HDFS Load使用方式。启动HDFS ，将以上文件上传至HDFS /input/目录下，该文件与Broker Load案例1中的文件一样。编写HDFS Load语句,与Broker Load稍有不同的一点是指定HDFS用户参数为hdfs_user，
spark load data from mysql
weixin_30695195的博客
05-13 190
spark load data from mysql code first 本机通过spark-shell.cmd启动一个spark进程 SparkSession spark = SparkSession.builder().appName("Simple Application").master("local[2]").getOrCreate(); Map<Str...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值