spark DataFrame 使用Java读取mysql和写入mysql的例子

最新推荐文章于 2024-06-28 19:40:35 发布

longyi_java

最新推荐文章于 2024-06-28 19:40:35 发布

阅读量1w

点赞数 4

本文链接：https://blog.csdn.net/longyi_java/article/details/52433871

版权

本文通过具体的Java代码示例，详述如何利用Spark DataFrame从MySQL数据库读取数据，以及将处理后的数据写回MySQL的过程，涵盖连接配置、数据加载与保存等关键步骤。

摘要由CSDN通过智能技术生成

例子

package com.hjh.demo.mysql;


import java.util.Properties;


import org.apache.log4j.Logger;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.SQLContext;
import org.apache.spark.sql.SaveMode;


public class Demo_Mysql3 {


private static Logger logger = Logger.getLogger(Demo_Mysql2.class);


public static void main(String[] args) {


SparkConf sparkConf = new SparkConf();


sparkConf.setAppName("Demo_Mysql2");
spar