Apache Doris Spark Connector 使用教程

Apache Doris Spark Connector 使用教程

doris-spark-connectorSpark Connector for Apache Doris项目地址:https://gitcode.com/gh_mirrors/do/doris-spark-connector

1. 项目的目录结构及介绍

Apache Doris Spark Connector 是一个用于连接 Apache Doris 和 Apache Spark 的开源项目。以下是其主要目录结构及其介绍：

doris-spark-connector/
├── README.md
├── build.sbt
├── project
│   └── build.properties
├── src
│   ├── main
│   │   ├── resources
│   │   │   └── log4j.properties
│   │   └── scala
│   │       └── org
│   │           └── apache
│   │               └── doris
│   │                   └── spark
│   │                       ├── DorisSparkConnector.scala
│   │                       └── utils
│   │                           └── DorisUtils.scala
│   └── test
│       └── scala
│           └── org
│               └── apache
│                   └── doris
│                       └── spark
│                           └── DorisSparkConnectorTest.scala
└── target

• README.md: 项目介绍和使用说明。
• build.sbt: 项目的构建配置文件。
• project/: 包含项目的构建相关文件。
• src/main/resources/: 包含项目的资源文件，如 log4j.properties。
• src/main/scala/org/apache/doris/spark/: 包含项目的主要代码文件，如 DorisSparkConnector.scala。
• src/test/scala/org/apache/doris/spark/: 包含项目的测试代码文件，如 DorisSparkConnectorTest.scala。
• target/: 包含编译后的文件和测试结果。

2. 项目的启动文件介绍

项目的启动文件是 DorisSparkConnector.scala，位于 src/main/scala/org/apache/doris/spark/ 目录下。该文件主要负责初始化 Spark 连接和配置 Doris 连接参数。

package org.apache.doris.spark

import org.apache.spark.sql.SparkSession

object DorisSparkConnector {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("DorisSparkConnector")
      .getOrCreate()

    // 配置 Doris 连接参数
    val dorisOptions = Map(
      "doris.table.identifier" -> "your_doris_table",
      "doris.fenodes" -> "your_doris_fenodes",
      "doris.user" -> "your_doris_user",
      "doris.password" -> "your_doris_password"
    )

    // 读取 Doris 数据
    val dorisDF = spark.read
      .format("doris")
      .options(dorisOptions)
      .load()

    dorisDF.show()

    spark.stop()
  }
}

3. 项目的配置文件介绍

项目的配置文件主要包括 build.sbt 和 log4j.properties。

build.sbt

build.sbt 文件位于项目根目录下，用于配置项目的构建信息，如依赖库、版本等。

name := "DorisSparkConnector"

version := "0.1.0"

scalaVersion := "2.12.10"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-sql" % "3.0.1" % "provided",
  "org.apache.doris" % "doris-spark-connector" % "1.0.0"
)

log4j.properties

log4j.properties 文件位于 src/main/resources/ 目录下，用于配置项目的日志输出。

log4j.rootLogger=INFO, console

log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

以上是 Apache Doris Spark Connector 项目的目录结构、启动文件和配置文件的详细介绍。希望对您有所帮助。

doris-spark-connectorSpark Connector for Apache Doris项目地址:https://gitcode.com/gh_mirrors/do/doris-spark-connector