Apache Doris (六十三）： Spark Doris Connector - (3)-配置型及列映射关系

已于 2024-01-09 13:11:59 修改
阅读量1.1k 收藏 25
点赞数 31
分类专栏： 大数据OLAP体系技术栈 Apache Doris 文章标签： apache spark 大数据 doris
于 2024-01-08 11:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/135398402
版权
大数据OLAP体系技术栈 同时被 2 个专栏收录
119 篇文章 22 订阅 ¥29.90 ¥99.00
订阅专栏
Apache Doris
43 篇文章 29 订阅
订阅专栏
本文详细介绍了如何配置Spark操作Doris，包括通用配置、SQL和DataFrame专有配置以及RDD专有配置。同时，讨论了Spark与Doris之间的列类型映射关系，特别指出在Connector中DATE和DATETIME被映射为String，以解决时间类型处理的限制问题。
摘要由CSDN通过智能技术生成

 🏡 个人主页：IT贫道-CSDN博客

 🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

 🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频

目录

1. Spark 操作Doris配置项

1.1. 通用配置项

1.2 SQL 和 Dataframe 专有配置

1.3 RDD 专有配置

2. Spark和Doris列类型映射关系

​​​​​​​1. Spark 操作Doris配置项

Spark操作Doris配置项参考Doris官网：Spark Doris Connector - Apache Doris

了解本专栏 订阅专栏 解锁全文
IT贫道
关注
  • 31
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
spark导入doris的几种方式
炼数成器
08-11 2236
本文主要介绍通过spark导入doris的3种方式。
apache-doris-spark-connector-3.1_2.12-1.0.1
05-05
Spark Doris Connector（apache-doris-spark-connector-3.1_2.12-1.0.1-incubating-src.tar.gz） Spark Doris Connector Version：1.0.1 Spark Version：3.x Scala Version：2.12 Apache Doris是一个现代MPP分析数据库产品。它可以提供亚秒级查询和高效的实时数据分析。通过它的分布式架构，高达10PB级的数据集将得到很好的支持，易于操作。 Apache Doris可以满足各种数据分析需求，包括历史数据报告、实时数据分析、交互式数据分析和探索性数据分析。让您的数据分析更容易!
apache-doris-spark-connector-2.3_2.11-1.0.1
05-05
Spark Doris Connector（apache-doris-spark-connector-2.3_2.11-1.0.1-incubating-src.tar.gz） Spark Doris Connector Version：1.0.1 Spark Version：2.x Scala Version：2.11 Apache Doris是一个现代MPP分析数据库产品。它可以提供亚秒级查询和高效的实时数据分析。通过它的分布式架构，高达10PB级的数据集将得到很好的支持，易于操作。 Apache Doris可以满足各种数据分析需求，包括历史数据报告、实时数据分析、交互式数据分析和探索性数据分析。让您的数据分析更容易!
Spark-Doris-Connecter实战
qq_43545096的博客
02-03 582
Spark-Doris-Connecter实战
Apache Doris 生态扩展及优化：Spark Doris Connector；Flink Doris Connector；DataX DorisWriter数据同步；JDBC Catalog
最新发布
学亮编程手记
02-12 1540
无论是DataStream API 还是SQL API 读取Doris中数据时，目前仅支持批读取。Flink向Doris中写入数据时底层会转换成Stream Load方式向Doris加载数据，这种速度快，每次执行代码都会生成一个Stream Load对应的Label ,在代码中或者SQL Connector中可以指定，建议加上UUID随机生成。否则每次执行代码前还需执行clean label from db 来清除对应Doris 库中的Label。
apache-doris-flink-connector-1.14_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.14_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.14 Scala Version：2.12 Apache Doris是一个现代MPP...
apache-doris-flink-connector-1.11_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.11_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.11 Scala Version：2.12 Apache Doris是一个现代MPP分析...
apache-doris-flink-connector-1.13_2.12-1.0.3
05-05
Flink Doris Connector 源码（apache-doris-flink-connector-1.13_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.13 Scala Version：2.12 Apache Doris是一个现代...
apache-doris-flink-connector-1.12_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.12_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.12 Scala Version：2.12 Apache Doris是一个现代MPP...
Doris应用指南
03-09
简介Doris软件安装，应用，环境变量的配置等等
doris-flink-connector
03-25
官网没有提供下载编译好的 connector ，需要自己编译，我将编译好的上传，供大家下载。 flink 版本1.13.5； <scala.version>2.12 <flink.version>1.13.5 <libthrift.version>0.13.0 <arrow.version>5.0.0 ...
doris-flink-connector-flink-1.13.3-2.12-SNAPSHOT.jar
01-05
Doris版本0.15，flink版本1.13，scala版本2.12
flink-doris-connector-1.16-1.5.0-SNAPSHOT.jar
08-18
Flink-Doris最新发布的1.16驱动jar包，极大的提升了实时同步ODS效率，不仅可以同步DML,还可以同步DDL,并且可以自动创建目标表结构，为数据仓库同学解决了燃眉之急。
apache-doris-1.0.0-incubating-bin.tar.gz
05-05
Apache Doris（apache-doris-1.0.0-incubating-bin.tar.gz）是一个现代MPP分析数据库产品。它可以提供亚秒级查询和高效的实时数据分析。通过它的分布式架构，高达10PB级的数据集将得到很好的支持，易于操作。 Apache...
Spark Doris Connector试错
程裕强的专栏
08-13 1180
http://doris.apache.org/master/zh-CN/extending-doris/spark-doris-connector.html#%E7%89%88%E6%9C%AC%E5%85%BC%E5%AE%B9 import org.apache.doris.spark._ val dorisSparkRDD = sc.dorisRDD( tableIdentifier = Some("$YOUR_DORIS_DATABASE_NAME.$YOUR_DORIS_TABLE_NAM
Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据类型不兼容报错解决
helloxiaozhe的博客
01-12 1579
Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据，但部分doris类型spark doris connector不兼容报错解决方案 .spark.exception.ConnectedFailedException: Connect to Doris BE{host='172.xxx.yyyy.10', port=9060}failed.
基于Spark3.3.0的doris-spark-connector实战
wangleigiser的博客
07-15 1592
想要更全面了解Spark内核和应用实战，可以购买我的新书。《图解Spark 大数据快速分析实战》(王磊)） 执行vim custom_env.sh ，修改custom_env.sh文件，添加如下内容： 基于spark3.3.0编译 编译结果 2. spark-3.3.0 环境配置 下载spark二进制压缩包并解压。 spark环境配置：vim /etc/profile 将编译好的spark-doris-connector-3.3_2.12-1.0.0-SNAPSH
大数据Doris（六十二）：Spark Doris Connector代码操作
Lansonli（蓝深李）的博客
01-31 248
Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存储的数据。编译成功后，会在 output/ 目录下生成文件。将此文件复制到 Spark 的 ClassPath 中即可使用 Spark-Doris-Connector。例如：Local 模式运行的 Spark，将此文件放入 jars/ 文件夹下。Yarn集群模式运行的Spark，则将此文件放入预部署包中。--Doris FE http 地址，支持多个地址，使用逗号分隔--
docker run -itd \ --name=doris_fe1 \ --env FE_SERVERS="fe1:192.168.40.129:9010" \ --env FE_ID=1 \ -p 8030:8030 \ -p 9030:9030 \ -v /data/doris-meta:/opt/apache-doris/fe/doris-meta \ -v /data/fe/conf:/opt/apache-doris/fe/conf \ -v /data/fe/log:/opt/apache-doris/fe/log \ apache/doris:1.2.2-fe-x86_64 中如何只写域名，不写ip才不会报错
06-08
在这个命令中，FE_SERVERS参数需要指定一个IP地址，因此不能只写域名而不写IP地址。如果你想要使用域名而不是IP地址，你需要在你的DNS服务器中将该域名解析为对应的IP地址。然后在这个命令中使用该IP地址即可。另外，如果你想要在容器内部使用域名访问其他容器，可以使用Docker的DNS功能，具体可以参考Docker文档中的相关说明。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值