使用BoneCP创建连接池将sparkstreaming数据写入MySQL

准备

首先我们去maven repository查找BoneCP的依赖：

添加到pom.xml中
我的kafka版本是0.10 spark版本是2.4.2 由于是实验性质的 所以就不打包在linux上了 直接在IDEA上跑

开始工作

首先 我在MySQL的G6数据库建立一张新表kafka_test_tbl

create table kafka_test_tbl(
	timeseq varchar(20),
	thread varchar(20),
	message varchar(20)
);

新建数据库连接池

代码如下：

package com.mytest

import java.sql.Connection

import com.jolbox.bonecp.{BoneCP, BoneCPConfig}
import org.slf4j.LoggerFactory


object ConnectionPool {

  //打印日志
  val logger = LoggerFactory.getLogger(this.getClass)

  //定义连接池
  private val pool = {
    try {
      Class.forName("com.mysql.jdbc.Driver")
      val config = new BoneCPConfig()
      config.setJdbcUrl("jdbc:mysql://hadoop000:3306/G6")
      config.setUsername("root")
      config.setPassword("root")
      config.setMinConnectionsPerPartition(3)
      config.setMaxConnectionsPerPartition(5)
      config.setCloseConnectionWatch(true)