Spark SQL读取MySQL数据写入Kudu

（1）pom文件中加入Spark Kudu相关依赖

<dependency>
    <groupId>org.apache.kudu</groupId>
    <artifactId>kudu-spark2_2.11</artifactId>
    <version>1.7.0</version>
</dependency>

（2）编写代码

object SparkKuduApp {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession.builder().master("local").appName("SparkKuduApp").getOrCreate()
    // 读取MySQL数据
    val jdbcDF = spark.read
      .format("jdbc")
      .option("url", "jdbc:mysql://hadoop000:3306")
      .option("dbtable", "spark_project.wc")
      .option("user", "root")
      .option("password", "root")
      .load()
    val KUDU_MASTERS = "hadoop000"
    
    // 将数据过滤后写入Kudu
    jdbcDF.filter("cnt > 11")
      .write
      .mode(SaveMode.Append) // 只支持Append模式 键相同的会自动覆盖
      .format("org.apache.kudu.spark.kudu")
      .option("kudu.master", KUDU_MASTERS)
      .option("kudu.table", "pk")
      .save()

    // 读取写入的数据
    spark.read.format("org.apache.kudu.spark.kudu")
      .option("kudu.master", KUDU_MASTERS)
      .option("kudu.table", "pk")
      .load().show()
  }

注意：
需要事先在Kudu中创建对应的表，并且保证MySQL表的Schema信息和Kudu表的Schema信息一致