java连接netezza教程_Netezza与Spark / Scala JDBC的连接

我在IntelliJ IDE上使用Scala 2.11.8在我的Windows机器上设置了Spark 2.2.0 . 我正在尝试使用JDBC驱动程序将Spark连接到Netezza .

我已阅读this link并通过Maven将 com.ibm.spark.netezza jar 添加到我的项目中 . 我尝试运行下面的Scala脚本来测试连接：

package jdbc

object SimpleScalaSpark {

def main(args: Array[String]) {

import org.apache.spark.sql.{SparkSession, SQLContext}

import com.ibm.spark.netezza

val spark = SparkSession.builder

.master("local")

.appName("SimpleScalaSpark")

.getOrCreate()

val sqlContext = SparkSession.builder()

.appName("SimpleScalaSpark")

.master("local")

.getOrCreate()

val nzoptions = Map("url" -> "jdbc:netezza://SERVER:5480/DATABASE",

"user" -> "USER",

"password" -> "PASSWORD",

"dbtable" -> "ADMIN.TABLENAME")

val df = sqlContext.read.format("com.ibm.spark.netezza").options(nzoptions).load()

}

}

但是我收到以下错误：

17/07/27 16:28:17 ERROR NetezzaJdbcUtils$: Couldn't find class org.netezza.Driver

java.lang.ClassNotFoundException: org.netezza.Driver

at java.net.URLClassLoader.findClass(URLClassLoader.java:381)

at java.lang.ClassLoader.loadClass(ClassLoader.java:424)

at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)

at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

at org.apache.spark.sql.execution.datasources.jdbc.DriverRegistry$.register(DriverRegistry.scala:38)

at com.ibm.spark.netezza.NetezzaJdbcUtils$$anonfun$getConnector$1.apply(NetezzaJdbcUtils.scala:49)

at com.ibm.spark.netezza.NetezzaJdbcUtils$$anonfun$getConnector$1.apply(NetezzaJdbcUtils.scala:46)

at com.ibm.spark.netezza.DefaultSource.createRelation(DefaultSource.scala:50)

at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:306)

at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:178)

at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:146)

at jdbc.SimpleScalaSpark$.main(SimpleScalaSpark.scala:20)

at jdbc.SimpleScalaSpark.main(SimpleScalaSpark.scala)

Exception in thread "main" java.sql.SQLException: No suitable driver found for jdbc:netezza://SERVER:5480/DATABASE

at java.sql.DriverManager.getConnection(DriverManager.java:689)

at java.sql.DriverManager.getConnection(DriverManager.java:208)

at com.ibm.spark.netezza.NetezzaJdbcUtils$$anonfun$getConnector$1.apply(NetezzaJdbcUtils.scala:54)

at com.ibm.spark.netezza.NetezzaJdbcUtils$$anonfun$getConnector$1.apply(NetezzaJdbcUtils.scala:46)

at com.ibm.spark.netezza.DefaultSource.createRelation(DefaultSource.scala:50)

at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:306)

at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:178)

at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:146)

at jdbc.SimpleScalaSpark$.main(SimpleScalaSpark.scala:20)

at jdbc.SimpleScalaSpark.main(SimpleScalaSpark.scala)

我有两个想法：

1)我不相信我实际上安装了任何Netezza JDBC驱动程序，虽然我认为从上面的链接带入我项目的 jar 就足够了 . 我只是错过了一个驱动程序，或者我在Scala脚本中遗漏了什么？

2)在同一个链接中，作者提到了启动Netezza Spark包：

例如，要将Spark Netezza软件包与Spark的交互式shell一起使用，请按如下所示启动它：$ SPARK_HOME / bin / spark-shell -packages com.ibm.SparkTC：spark-netezza_2.10：0.1.1 -driver-class -path〜/ nzjdbc.jar

我不是在我的脚本中调用 jdbc 之外的任何包 . 我是否必须将其添加到我的脚本中？

谢谢！