Spark读写mysql

Spark读写Mysql

需要下载对应版本的mysql-connector-java-5.1.40.jar包，放入spark的jars目录下。
代码：

1.读mysql

val jdbcDF=spark.read.format("jdbc")
.option("url","jdbc:mysql://192.168.xxx.xxx:3306/test")
.option("driver","com.mysql.jdbc.Driver")
.option("dbtable","kafsql")     //表名
.option("user","root")          //用户名
.option("password","root")      //密码
.option("numPartitions", 5)     //并行数，按主键将表分为五个部分并行读取。存在两个问题：1.主键不连续，会造成数据倾斜，读取效率会受影响；2.值最好不要大于cup核数，否则部分任务依然等待cup资源释放后才进行
.load()

2.写入mysql

//写入数据
import java.util.Properties
import org.apache.spark.sql.types._
import org.apache.spark.sql.Row
//设置两条数据
val people=spark.sparkContext.parallelize(Array("25 张三 man 65 2019-06-19","26 小华 women 45 2019-06-19").map(s=>s.split(" "))
//设置模式信息
val fields=Array(StructField("id",IntegerType,false),StructField("name",StringType,true),StructField("sex",StringType,true),StructField("age",IntegerType,true),StructField("stime",StringType,true)) //true表示允许为空值
val schema=StructType(fields)
//生成dataframe
val rdd=people.map(p=>Row(p(0).toInt,p(1).trim,p(2).trim,p(3).toInt,p(4).trim))
val df=spark.createDataFrame(rdd,schema)
//链接数据库,创建prop变量保存JDBC参数
val prop=new Properties()
prop.put("user","root")
prop.put("password","root")
prop.put("driver","com.mysql.jdbc.Driver")
df.write.mode("append").jdbc("jdbc:mysql://192.168.xxx.xxx:3306/test","test.kafsql",prop)