基于IntelliJ Idea的Scala开发demo一Spark-SQL操作Postgresql开发

本文主要是spark-sql与PostgreSQL的交互实现demo，具体步骤如下：

1. 导入相关PostgreSQL的依赖驱动包
2. 编写spark-sql操作PostgreSQL的代码
3. 打包运行

导入相关PostgreSQL的依赖驱动包

如下图所示，在build.sbt依赖管理文件中加入如下依赖：

// https://mvnrepository.com/artifact/org.postgresql/postgresql
libraryDependencies += "org.postgresql" % "postgresql" % "42.2.8"

然后运行导入依赖如下图所示：

编写spark-sql操作PostgreSQL的代码

创建sparksession的对象获取类，如下所示：

import org.apache.log4j.Logger
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

class LzSparkSqlTest {
   

  val LOGGER = Logger.getLogger(this.getClass)

  /*
   获取SparkSession实例
   */
  def getOrCreateSparkSession(): SparkSession ={
   

    val conf = new SparkConf().setAppName("TestSparkSqlOnHive")
      .setMaster("local")

    LOGGER.info("--------准备获取SparkSession对象---