java实现sparksql操作数据库

最新推荐文章于 2024-09-25 17:25:14 发布

程序媛-团子

最新推荐文章于 2024-09-25 17:25:14 发布

阅读量1.3w

点赞数 5

分类专栏： spark 文章标签： spark sql java spark sql spark操作数据库

本文链接：https://blog.csdn.net/hzs33/article/details/80427758

版权

本文介绍了如何在Java Maven项目中利用SparkSQL进行数据库操作，包括项目的创建、数据的写入和读取步骤，是SparkSQL与Java结合应用的基础教程。

摘要由CSDN通过智能技术生成

1.创建java maven项目，添加依赖

 <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.3.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.3.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.alibaba/fastjson -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.47</version>
        </dependency>

2.写数据

 SparkConf conf = new SparkConf().setAppName("HelloWorld").setMaster("local");
       
        JavaSparkContext sc = new JavaSparkContext(conf);
             SQLContext sqlContext = new SQLContext(sc);

        //写入的数据内容
        JavaRDD<String