Spark读写Mysql
需要下载对应版本的mysql-connector-java-5.1.40.jar包,放入spark的jars目录下。
代码:
1.读mysql
val jdbcDF=spark.read.format("jdbc")
.option("url","jdbc:mysql://192.168.xxx.xxx:3306/test")
.option("driver","com.mysql.jdbc.Driver")
.option("dbtable","kafsql") //表名
.option("user","root") //用户名
.option("password","root") //密码
.option("numPartitions", 5) //并行数,按主键将表分为五个部分并行读取。存在两个问题:1.主键不连续,会造成数据倾斜,读取效率会受影响;2.值最好不要大于cup核数,否则部分任务依然等待cup资源释放后才进行
.load()
2.写入mysql
//写入数据
import java.util.Properties
import org.apache.spark.sql.types._
import org.apache.spark.sql.Row
//设置两条数据
val people=spark.sparkContext.parallelize(Array("25 张三 man 65 2019-06-19","26 小华 women 45 2019-06-19").map(s=>s.split(" "))
//设置模式信息
val fields=Array(StructField("id",IntegerType,false),StructField("name",StringType,true),StructField("sex",StringType,true),StructField("age",IntegerType,true),StructField("stime",StringType,true)) //true表示允许为空值
val schema=StructType(fields)
//生成dataframe
val rdd=people.map(p=>Row(p(0).toInt,p(1).trim,p(2).trim,p(3).toInt,p(4).trim))
val df=spark.createDataFrame(rdd,schema)
//链接数据库,创建prop变量保存JDBC参数
val prop=new Properties()
prop.put("user","root")
prop.put("password","root")
prop.put("driver","com.mysql.jdbc.Driver")
df.write.mode("append").jdbc("jdbc:mysql://192.168.xxx.xxx:3306/test","test.kafsql",prop)