Spark读写mysql数据库

import org.apache.spark.SparkConf;
import org.apache.spark.sql.*;
import java.util.Properties;


public class SparkSqlJdbc {

    public static void main(String[] args) {

        SparkConf conf = new SparkConf();
        conf.setAppName("mytext");
        conf.setMaster("local");
        conf.set("spark.testing.memory", "2147480000");
        SparkSession session=SparkSession.builder().config(conf).getOrCreate();
        String url = "jdbc:mysql://192.168.0.116:3306/bigdata" ;
        //数据库配置配置信息
         Dataset<Row> df = session.read().format("jdbc")
                .option("url",url).option("user","root").option("password","root")
                .option("dbtable","words").option("driver","com.mysql.jdbc.Driver").load();

        try {
            df.createTempView("users");
            Dataset<Row> df2 =session.sql("select * from users ");
            df2.show();

            //将数据写入到数据库,如果没有表将自动 创建新表
            Properties prop = new Properties();
            prop.put("user","root");
            prop.put("password","root");
            prop.put("dirver","com.mysql.jdbc.Driver");
            df2.write().jdbc(url,"wordtest",prop);
        } catch (AnalysisException e) {
            e.printStackTrace();
        }

    }
}
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值