目录
前言:
这篇文章主要记录的是用spark集成ClickHouse和MySQL,
将数据read出,和将数据write写入表的 (记录笔记)
创建sparkSession
因为这个不是重点,所以先简单创建下,实际是需要按照你的需求创建的
// 创建SparkSession
val spark = SparkSession.builder()
.appName("Write to MySQL")
.config("spark.sql.catalogImplementation", "hive")
.getOrCreate()
一.spark读出
1. spark 读出 MySQL表数据
//读取数据
spark.read.format("jdbc")
.option("url","jdbc:mysql://address-ip:3306/ds_db01??characterEncoding=U