大数据Doris（六十二）：Spark Doris Connector代码操作

文章目录

Spark Doris Connector代码操作

一、​​​​​​​版本兼容

二、​​​​​​​​​​​​​​编译与安装

三、​​​​​​​​​​​​​​使用示例

1、SQL

2、DataFrame

3、RDD

四、​​​​​​​​​​​​​​配置

1、通用配置项

2、SQL 和 Dataframe 专有配置

3、RDD 专有配置

五、​​​​​​​Doris 和 Spark 列类型映射关系

六、演示

1、创建maven项目

2、导入pom依赖

3、读取doris数据

4、数据写入doris

---

Spark Doris Connector代码操作

Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存储的数据。

• 当前版本只支持从Doris中读取数据。
• 可以将Doris表映射为DataFrame或者RDD，推荐使用DataFrame。
• 支持在Doris端完成数据过滤，减少数据传输量。

 

一、​​​​​​​​​​​​​​版本兼容

• Connector：1.0.0
• Spark：2.x
• Doris：0.12+
• Java：8<