Flink用RichParallelSourceFunction连接mysql

import org.apache.flink.core.fs.Path
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment
import org.slf4j.LoggerFactory

import scala.collection.mutable


class SouceParaMysql(env:StreamExecutionEnvironment) extends RichParallelSourceFunction[mutable.HashMap[String,String]]{
  val logger = LoggerFactory.getLogger("SouceParaMysql")
  var conn:Connection = _
  var selectStnt:PreparedStatement = _
  override def open(parameters: Configuration): Unit = {
    super.open(parameters)
    val driver = "com.mysql.cj.jdbc.Driver"
    Class.forName(driver).isInstance()
    conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/flink","root","111111")

  }

  /**
    *
    * @param ctx
    */
  override def run(ctx: SourceFunction.SourceContext[mutable.HashMap[String, String]]): Unit = {
    selectStnt = conn.prepareStatement("select.......")
    val sql_result = selectStnt.executeQuery
    var data = mutable.HashMap[String,String]()
    while(sql_result.next()){
      val ids = sql_result.getString(1).trim()
      val domain = sql_result.getString(2).trim()
      data.put(domain,ids)
    }
    ctx.collect(data)
  }

  override def cancel(): Unit = {
    if (selectStnt != null){
      selectStnt.close()
    }
    if (conn != null){
      conn.close()
    }
  }


}

之前有踩坑,一直出现异常关闭的错误。
原因是
selectStnt = conn.prepareStatement(“select…”)
同时改为class
这条语句写在open内,具体原因未知,但是这样改是可以的。

  • 5
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值