spark jdbc

this is a book

于 2022-09-23 17:21:49 发布

阅读量484

点赞数

分类专栏： spark 文章标签： spark jdbc

本文链接：https://blog.csdn.net/an13654067079/article/details/127014834

版权

spark 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

1 背景

输入数据源是从数据库读取的

基于spark 开发

本文的内容是读取mysql

2 步骤

2.1 搭建工程

基于maven搭建spark工程_this is a book的博客-CSDN博客_maven 添加spark

2.2 pom中加入数据库驱动依赖

     <!-- mysql-connector-java -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version> 8.0.26</version>
        </dependency>

2.3 编写代码

   SparkConf conf = new SparkConf().setAppName("demo").setMaster("local[*]");
   SparkSession sparkSession = SparkSession.builder().config(conf).getOrCreate();
   Dataset<Row> load = sparkSession.read()
                    .format("jdbc")
                    .option("driver", "com.mysql.cj.jdbc.Driver")
                    .option("url", "jdbc:mysql://")
                    .option("user","")
                    .option("password","")
                    .option("dbtable","要查询的表")
                    .load();
   load.show();