def data2MySQL (it: Iterator[(String,Int)])={
//一个迭代器代表一个分区,分区中有多条数据
//先获得一个JDBC连接
val conn: Connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/bigdata?characterEncoding=UTF-8","root","pwd")
//将数据通过Connection写入到数据库
val pstm: PreparedStatement = conn.prepareStatement("insert into access_log values(?,?)")
//将分区中的数据一条一条写入到MySQL
it.foreach(tp =>{
pstm.setString(1,tp._1)
pstm.setInt(2,tp._2)
pstm.executeUpdate()
})
//将分区中的数据全部写完之后,在关闭连接
if(pstm !=null){
pstm.close()
}
if(conn!=null){
conn.close()
}
}
用Spark写出的内容存储到MySQL中
最新推荐文章于 2021-09-05 17:49:53 发布