Apache Doris (六十二）： Spark Doris Connector - (2)-使用

已于 2024-01-09 13:15:04 修改
阅读量1.2k 收藏 23
点赞数 26
分类专栏： 大数据OLAP体系技术栈 文章标签： apache spark 大数据 doris
于 2024-01-06 11:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/135398196
版权

 🏡 个人主页：IT贫道-CSDN博客

 🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

 🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频

目录

1. 将编译jar包加入本地Maven仓库

2. Spark Core操作Doris

3. Spark DataFrame 操作Doris

4. Spark SQL操作Doris

5. StructuredStreaming 操作Doris

1. 将编译jar包加入本地Maven仓库

将spark-doris-connector-3.3_2.12-1.0.0-SNAPSHOT.jar放在D盘下，打开cmd输入如下命令将spark-doris-connector加入到maven本地仓库。

mvn install:install-file -Dfile=D:\spark-doris-connector-3.3_2.12-1.0.0-SNAPSHOT.jar -DgroupId=org.apache.doris -DartifactId=spark-doris-connector-3.3_2.
了解本专栏 订阅专栏 解锁全文
IT贫道
关注
  • 26
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
大数据Doris（六十二）：Spark Doris Connector代码操作
Lansonli（蓝深李）的博客
01-31 235
Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存储的数据。编译成功后，会在 output/ 目录下生成文件。将此文件复制到 Spark 的 ClassPath 中即可使用 Spark-Doris-Connector。例如：Local 模式运行的 Spark，将此文件放入 jars/ 文件夹下。Yarn集群模式运行的Spark，则将此文件放入预部署包中。--Doris FE http 地址，支持多个地址，使用逗号分隔--
Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据类型不兼容报错解决
helloxiaozhe的博客
01-12 1526
Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据，但部分doris类型spark doris connector不兼容报错解决方案 .spark.exception.ConnectedFailedException: Connect to Doris BE{host='172.xxx.yyyy.10', port=9060}failed.
Apache Doris 生态扩展及优化：Spark Doris Connector；Flink Doris Connector；DataX DorisWriter数据同步；JDBC Catalog
最新发布
学亮编程手记
02-12 1399
无论是DataStream API 还是SQL API 读取Doris中数据时，目前仅支持批读取。Flink向Doris中写入数据时底层会转换成Stream Load方式向Doris加载数据，这种速度快，每次执行代码都会生成一个Stream Load对应的Label ,在代码中或者SQL Connector中可以指定，建议加上UUID随机生成。否则每次执行代码前还需执行clean label from db 来清除对应Doris 库中的Label。
Spark-Doris-Connecter实战
qq_43545096的博客
02-03 544
Spark-Doris-Connecter实战
基于Spark3.3.0的doris-spark-connector实战
wangleigiser的博客
07-15 1537
想要更全面了解Spark内核和应用实战，可以购买我的新书。《图解Spark 大数据快速分析实战》(王磊)） 执行vim custom_env.sh ，修改custom_env.sh文件，添加如下内容： 基于spark3.3.0编译 编译结果 2. spark-3.3.0 环境配置 下载spark二进制压缩包并解压。 spark环境配置：vim /etc/profile 将编译好的spark-doris-connector-3.3_2.12-1.0.0-SNAPSH
apache-doris-spark-connector-2.3_2.11-1.0.1
05-05
Spark Doris Connector（apache-doris-spark-connector-2.3_2.11-1.0.1-incubating-src.tar.gz） Spark Doris Connector Version：1.0.1 Spark Version：2.x Scala Version：2.11 Apache Doris是一个现代MPP分析...
apache-doris-spark-connector-3.1_2.12-1.0.1
05-05
Spark Doris Connector（apache-doris-spark-connector-3.1_2.12-1.0.1-incubating-src.tar.gz） Spark Doris Connector Version：1.0.1 Spark Version：3.x Scala Version：2.12 Apache Doris是一个现代MPP分析...
apache-doris-flink-connector-1.14_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.14_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.14 Scala Version：2.12 Apache Doris是一个现代MPP...
apache-doris-flink-connector-1.13_2.12-1.0.3
05-05
Flink Doris Connector 源码（apache-doris-flink-connector-1.13_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.13 Scala Version：2.12 Apache Doris是一个现代...
apache-doris-flink-connector-1.11_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.11_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.11 Scala Version：2.12 Apache Doris是一个现代MPP分析...
Doris-05-集成Spark、Flink、Datax，以及数据湖分析(JDBC、ODBC、ES、Hive、多源数据目录Catalog)
迷雾总会解
06-23 2048
准备表和数据： Spark 读写 Doris Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存储的数据，也支持通过Spark写入数据到Doris。代码库地址：https://github.com/apache/incubator-doris-spark-connector创建 maven 工程，编写 pom.xml 文件： 使用 Spark Doris Connector Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存
Apache Doris (六十三）： Spark Doris Connector - (3)-配置型及列映射关系
qq_32020645的博客
01-08 1170
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频。
spark读写Doris实现及Doris文档更新
HD0do的博客
05-08 6694
了解spark读写doris两种方案实现及doris官方文档更新介绍，更多埋点会话id切分文章参考
Spark Doris Connector试错
程裕强的专栏
08-13 1154
http://doris.apache.org/master/zh-CN/extending-doris/spark-doris-connector.html#%E7%89%88%E6%9C%AC%E5%85%BC%E5%AE%B9 import org.apache.doris.spark._ val dorisSparkRDD = sc.dorisRDD( tableIdentifier = Some("$YOUR_DORIS_DATABASE_NAME.$YOUR_DORIS_TABLE_NAM
【遇见Doris】Spark Doris Connector的最佳实践
ucanuup_的博客
04-20 2295
Doris线下沙龙完美收官！本次沙龙邀请了来自百度、美团、京东的技术大牛...
Spark Doris Connector设计方案
锋哥聊DORIS数仓
10-12 648
Spark Doris Connector 是Doris在0.12版本中推出的新功能。用户可以使用该功能，直接通过Spark对Doris中存储的数据进行读写，支持SQL、Dataframe、RDD等方式。 从Doris角度看，将其数据引入Spark，可以使用Spark一系列丰富的生态产品，拓宽了产品的想象力，也使得Doris和其他数据源的联合查询成为可能 1.技术选型 在早期的方案中，我们直接将Doris的JDBC接口提供给Spark。对于JDBC这个Datasource，Spark侧的工作原理为..
docker run -itd \ --name=doris_fe1 \ --env FE_SERVERS="fe1:192.168.40.129:9010" \ --env FE_ID=1 \ -p 8030:8030 \ -p 9030:9030 \ -v /data/doris-meta:/opt/apache-doris/fe/doris-meta \ -v /data/fe/conf:/opt/apache-doris/fe/conf \ -v /data/fe/log:/opt/apache-doris/fe/log \ apache/doris:1.2.2-fe-x86_64 中如何只写域名，不写ip才不会报错
06-08
如果你想要使用域名而不是IP地址，你需要在你的DNS服务器中将该域名解析为对应的IP地址。然后在这个命令中使用该IP地址即可。另外，如果你想要在容器内部使用域名访问其他容器，可以使用Docker的DNS功能，具体可以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值