Spark-Streaming中使用MySQL的简单方法（Scala）

最新推荐文章于 2022-08-22 16:19:45 发布

Cheengvho

最新推荐文章于 2022-08-22 16:19:45 发布

阅读量1.9k

点赞数

分类专栏： SQL Scala Spark 文章标签： Spark-Streaming RDD Scala MySQL

本文链接：https://blog.csdn.net/m0_37890482/article/details/82734127

版权

本文介绍如何在Spark-Streaming项目中利用Scala与MySQL数据库进行交互，详细讲解了将RDD数据插入到MySQL数据库的具体步骤，提供了一种简单有效的实现方法。

摘要由CSDN通过智能技术生成

向MySQL数据库中插入内容：（方法传入参数为一个元组RDD）

def insertResult(record: Iterator[(String, String, String, String, String, String, String, String, String, String, Int, Int)]): Unit = {
    var conn: Connection = null
    var stmt: PreparedStatement = null
    try {
      val url = "jdbc:mysql://localhost:3306/streaminglog"
      val user = "root"
      val password = ""
      conn = getConnection(url, user, password)
      record.foreach(p => {
//        建表：  create table streaming(d varchar(50), h varchar(50), hh varchar(50), fm varchar(50), m varchar(50), brand varchar(50), mallid varchar(50), cityid varchar(50), activityid varchar(50), channelid varchar(50), countnum Integer(20), money Integer(20));
        val sql = "insert into streaming(d, h, hh, fm, m, brand, mallid, cityid, activityid, channelid, countnum, money) values(?,?,?,?,?,?,?,?,?,?,?,?)