Spark读取jdbc

shy_snow

已于 2023-07-28 11:38:00 修改

阅读量402

点赞数

分类专栏： Spark 代码示例大数据文章标签： spark 大数据

于 2023-07-27 17:45:00 首次发布

本文链接：https://blog.csdn.net/shy_snow/article/details/131956387

版权

大数据同时被 3 个专栏收录

33 篇文章 1 订阅

订阅专栏

代码示例

22 篇文章 0 订阅

订阅专栏

Spark

2 篇文章 0 订阅

订阅专栏

该Java程序展示了如何使用ApacheSpark的SparkSessionAPI从MySQL数据库中读取数据。它设置了Spark运行模式为本地，连接到指定的数据库并读取名为userTable的表，然后计算行数并显示结果。

摘要由CSDN通过智能技术生成

/* SimpleApp.java */

import org.apache.spark.api.java.function.FilterFunction;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

/**
 * 计算文件中分别包含a和b的行数
 */
public class JdbcReadApp {
    public static void main(String[] args) throws InterruptedException {
        /*
        local 本地单线程
        local[K] 本地多线程（指定K个内核）
        local[*] 本地多线程（指定所有可用内核）
        spark://HOST:PORT 连接到指定的  Spark standalone cluster master，需要指定端口。
        mesos://HOST:PORT 连接到指定的  Mesos 集群，需要指定端口。
        yarn-client客户端模式 连接到  YARN 集群。需要配置 HADOOP_CONF_DIR。
        yarn-cluster集群模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
         */
        //本地运行要设置spark.master为local或在VM options中输入“-Dspark.master=local”
        // spark-shell --master local
        System.setProperty("spark.master", "local");
//        System.setProperty("spark.master", "local[2]");
        SparkSession spark = SparkSession.builder().appName("JdbcRead Application").getOrCreate();

        Dataset<Row> logData = spark.read().format("jdbc")
                .option("url", "jdbc:mysql://192.168.129.102:3306/mydbname")
                .option("driver", "com.mysql.jdbc.Driver")
                .option("dbtable", "userTable")
                .option("user", "root")
                .option("password", "123456")
                .load();

        long count = logData.count();
        System.out.println("Lines count: " + count );
//        System.out.println("lines : " + logData.toString());
        logData.show();
        //暂不退出main,方便使用http://127.0.0.1:4040/ 进行查看
        Thread.sleep(1000*60*10);

        spark.stop();
    }
}

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <groupId>edu.berkeley</groupId>
    <artifactId>simple-project</artifactId>
    <modelVersion>4.0.0</modelVersion>
    <name>Simple Project</name>
    <packaging>jar</packaging>
    <version>1.0</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
            <version>3.1.2</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.27</version>
        </dependency>
    </dependencies>
</project>