SparkSQL读写kudu小记

最新推荐文章于 2024-04-11 08:54:52 发布

Elong_Hu

最新推荐文章于 2024-04-11 08:54:52 发布

阅读量3.6k

点赞数

分类专栏：大数据文章标签： SparkSQL kudu

本文链接：https://blog.csdn.net/qq_34993631/article/details/88634369

版权

大数据专栏收录该内容

24 篇文章 1 订阅

订阅专栏

在操作之前首先要有相应的依赖

<dependency>
      <groupId>org.apache.kudu</groupId>
      <artifactId>kudu-spark2_2.11</artifactId>
      <version>1.8.0</version>
      <!--<scope>compile</scope>-->
</dependency>

SparkSQL读取Kudu（Java语言描述）

public static Dataset<Row> getDatasetFromKudu(String tableName, SparkSession sparkSession) {
        SQLContext sqlContext = sparkSession.sqlContext();
        Dataset<Row> load = sqlContext
                .read()
                .format("org.apache.kudu.spark.kudu")
                .option("kudu.master", "192.168.1.126:7051,192.168.1.207:7051,192.168.1.208:7051")
                .option("kudu.table", tableName)
                .load();
        return load;
}

SparkSQL将DataFrame存入Kudu（Scala语言描述）

def saveData2Kudu(tableName : String, sparkSession: SparkSession, dataset: DataFrame) = {
    val kuduContext = new KuduContext("192.168.1.126:7051,192.168.1.207:7051,192.168.1.208:7051",sparkSession.sparkContext)
    kuduContext.upsertRows(dataset,tableName)
    true
}