Spark连接MySQL，Hive，Hbase

最新推荐文章于 2022-09-06 01:22:51 发布

AZengz

最新推荐文章于 2022-09-06 01:22:51 发布

阅读量246

点赞数

本文链接：https://blog.csdn.net/AZengz/article/details/112432585

版权

本文详细介绍了如何使用Spark连接MySQL、Hive和Hbase。针对每个数据库，文章都提到了添加依赖jar包的步骤，并在Spark中进行相关配置以确保与这些数据库的连接和操作能够顺利进行。

摘要由CSDN通过智能技术生成

Spark连接MySQL

一、添加依赖jar包

<!--spark支持mysql-->
    <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
      <version>5.1.32</version>
    </dependency>

import java.util.Properties
import org.apache.spark.sql.{
   DataFrame, SparkSession}

object MysqlDemo extends App {
   

  private val spark: SparkSession = SparkSession.builder().master("local[2]").appName("mysql")
    .getOrCreate()

  //TODO 配置url,tableName，prop
  val url="jdbc:mysql://192.168.95.138:3306/kb10"
  val tableName="student"
  val prop = new Properties()
  
  prop.setProperty("user","root")
  prop.setProperty("password","javakb10")
  prop.setProperty("driver","com.mysql.jdbc.Driver")

  //TODO spark连接mysql,读取mysql中的表并将其转换成df
  val mysqlDF:</