Spark通过jdbc写入clickhouse数据库（dataframe写入clickhouse）

北极的企鹅88

已于 2022-07-20 09:23:09 修改

阅读量2.4k

点赞数

分类专栏： java clickhouse 文章标签：大数据 spark postgresql

于 2021-07-13 14:36:10 首次发布

本文链接：https://blog.csdn.net/Chat_FJ/article/details/118699525

版权

java 同时被 2 个专栏收录

34 篇文章 2 订阅

订阅专栏

clickhouse

5 篇文章 0 订阅

订阅专栏

此程序根据Spark官网示例
Spark官网

def WriteToCK(): Unit ={
    System.setProperty("hadoop.home.dir", "D:\\softWare\\ruanjian\\spark\\hadoop-2.7.7")
    val spark = SparkSession
      .builder()
      .master("local")
      .config("spark.sql.caseSensitive", "true")
      .getOrCreate()
    spark.sparkContext.setLogLevel("warn")
    //读取文件，并转化为json
    val dataFrame = spark.read.json("D://a.log")
    //设置用户名、密码
    val connectionProperties = new Properties()
    connectionProperties.setProperty("user", username)
    connectionProperties.setProperty("password", password)
    //写入程序  append为追加写入  
    dataFrame.write.mode("append").option("batchsize", "50000").option("isolationLevel", "NONE").
      option("numPartitions", "1").jdbc("jdbcUrl", "表名", connectionProperties)
  }