spark写入pg_Spark SQL访问PostgreSQL

随着Spark SQL的正式发布，以及它对DataFrame的支持，它可能会取代HIVE成为越来越重要的针对结构型数据进行分析的平台。在博客文章What’s new for Spark SQL in Spark 1.3中，Databricks的工程师Michael Armbrust着重介绍了改进了的Data Source API。

我们在对结构型数据进行分析时，总不可避免会遭遇多种数据源的情况。这些数据源包括Json、CSV、Parquet、关系型数据库以及NoSQL数据库。我们自然希望能够以统一的接口来访问这些多姿多态的数据源。

在我们产品的应用场景中，需要访问PostgreSQL的数据以进行数据分析。我们可以通过Spark SQL提供的JDBC来访问，前提是需要PostgreSQL的driver。方法是在build.sbt中添加对应版本的driver依赖。例如：

libraryDependencies ++= {

val sparkVersion = "1.3.0"

Seq(

"org.apache.spark" %% "spark-core" % sparkVersion,

"org.apache.spark" %% "spark-sql" % sparkVersion,

"org.postgresql" % "postgresql" % "9.4-1201-jdbc41"

)

}

根据Spark SQL的官方文档，在调用Data Sources API时，可以通过SQLContext加载远程数据库为Data