spark整合MySQL

最新推荐文章于 2024-03-03 01:53:49 发布

给我一个苹果

最新推荐文章于 2024-03-03 01:53:49 发布

阅读量292

点赞数

文章标签：大数据

本文链接：https://blog.csdn.net/weixin_43705952/article/details/105694329

版权

本文介绍了如何使用Spark将数据写入MySQL数据库，通过示例展示了如何配置SparkConf，以及利用`foreachPartition`算子实现数据批量写入。

摘要由CSDN通过智能技术生成

spark整合MySQL

    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>5.1.38</version>
    </dependency>

import java.sql.{Connection, DriverManager, PreparedStatement}

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Data2MysqlForeach {
def main(args: Array[String]): Unit = {
//1、构建SparkConf
val sparkConf: SparkConf = new SparkConf().setAppName(“Data2MysqlForeach”).setMaster(“local[2]”)

//2、构建SparkContext
val sc = new SparkContext(sparkConf)
sc.setLogLevel("warn")

//3、读取数据文件
val data: RDD[String] = sc.textFile("E:\\data\\person.txt")

//4、切分每一行    // id  name  age
val personRDD: RDD[(String, String, Int)] = data.map(x => x.split(",")).map(x => (