spark保存到mysql_Spark写入数据到MySQL

以下是本人做的测试，如果有错误请及时指正，有问题欢迎一起讨论。

情景：

需要读取HDFS上的数据，处理之后，写入到MySQL数据库里面去。

实现：

1、版本

spark版本：1.2.1

MySQL版本：5.6.21

2、数据准备

HDFS上：

MySQL里：

3、spark代码

package sparkTest

import java.sql.{DriverManager, PreparedStatement, Connection}

import org.apache.spark.{SparkContext, SparkConf}

object sparkToMysql {

case class info(info1: String, info2: Int)

def toMySQL(iterator: Iterator[(String, Int)]): Unit = {

var conn: Connection = null

var ps: PreparedStatement = null

val sql = "insert into info(info1, info2) values (?, ?)"

try {

Class.forName("com.mysql.jdbc.Driver");

conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/spark_test", "root", "111111")

iterator.foreach(dataIn => {

ps = conn.prepareStatement(sql)

ps.setString(1, dataIn._1)

ps.setInt(2, dataIn._2)

ps.executeUpdate()

}

)

} catch {

case e: Exception => e.printStackTrace()

} finally {

if (ps != null) {

ps.close()

}

if (conn != null) {

conn.close()

}

}

}

def main(args: Array[String]) {

val conf = new SparkConf().setAppName("sparkToMysql").setMaster("local")

val sc = new SparkContext(conf)

val dataFromHDFS=sc.textFile(args(0)).map(_.split("\\^")).map(line => (line(0),line(1).toInt))

dataFromHDFS.foreachPartition(toMySQL)

}

}

4、运行

/home/lenovo/spark-1.2.1/bin/spark-submit \

--class sparkTest.sparkToMysql \

--driver-class-path /home/lenovo/mysql-connector-java-5.0.8.jar \

/home/lenovo/sparkTest/sparkToMysql.jar \

hdfs://master:9000/sparkToMysql

5、结果