用spark去连接mysql、hive、hbase

最新推荐文章于 2022-02-12 16:13:29 发布

chj1621802913

最新推荐文章于 2022-02-12 16:13:29 发布

阅读量194

点赞数

本文链接：https://blog.csdn.net/chj1621802913/article/details/112503904

版权

本文详细介绍了如何使用Spark分别连接MySQL、Hive和HBase。包括了添加相应依赖和示例代码，是进行大数据操作的重要参考资料。

摘要由CSDN通过智能技术生成

一、spark连mysql
1、先添加依赖

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>5.1.32</version>
</dependency>

2、代码如下：

import java.util.Properties
import org.apache.spark.SparkContext
import org.apache.spark.sql.{
   DataFrame, SparkSession}

object ConnectMysql {
   
  def main(args: Array[String]): Unit = {
   
    val spark: SparkSession = SparkSession.builder()
      .master("local[4]")
      .appName(this.getClass.getName)
      .getOrCreate()

    val sc: SparkContext = spark.sparkContext
    import spark.implicits._

    //" IP_ADDRESS : PORT " 处，输入对应的虚机的IP地址及端口号
	//" DATABASE " 处，输入对应的数据库
    //设置要访问的mysql的url，表名
    val url = "jdbc:mysql://IP_ADDRESS : PORT/DATABASE"
    //" TABLE_NAME " 处，输入对应的数据库
    val tableName = " TABLE_NAME "

    val props = new Properties()