Spark Streaming结合redis实现state的功能

前言

• 在前面的文章中有介绍SparkStreaming中的updateStateByKey算子，具体可见文章：Spark Streaming中状态算子的使用，但是使用updateStateByKey算子会存在一个问题，就是必须使用checkpoint，同时造成小文件扎堆的情况
• 而在这篇文章中Spark Streaming中foreachRDD算子使用详解所提到的写入mysql的最佳实践中，细看也不难发现个问题，即每次写入到MySQL中的数据每次都是新增的，一旦数据更新后，那么从统计结果层面上来看是不对的，因此我们需要对其进行改进，实现类似于upsert的操作

结合上面这两点问题，在本篇文章中将使用SparkStreaming + redis来实现状态算子的功能，并同时保证数据库中数据的准确性

实现思路&代码

对于wordcount这种统计维度来说，redis的使用关键点在于如何选择合适的数据类型，可以使用hash的数据类型，并借助于hincrby的语法去实现对历史状态的累加，每次将新统计出的值去和数据库中存储的值进行累加

核心代码为RedisUtils和StreamingRedisApp，具体如下：

object RedisUtils {

  val poolConfig = new JedisPoolConfig
  poolConfig.setMaxTotal(2000)
  poolConfig.setMaxIdle(1000)
  poolConfig.setTestOnBorrow(true) //将连接用完放回池中

  // 默认端口即6379
  private val pool = new JedisPool(poolConfig, "localhost")

  def getJedis = pool.getResource

  def main(args: Array[String]): Unit = {
    val jedis = getJedis
    println(jedis)
  }

}

object StreamingRedisApp {

  def main(args: Array[String]): Unit = {
    val ssc = ContextUtils.getStreamingContext(this.getClass.getSimpleName, 5)

    val lines = ssc.socketTextStream("localhost", 9999)
    val result = lines.flatMap(_.split(",")).map((_,1)).reduceByKey(_+_)

    // 使用redis来实现state
    result.foreachRDD(rdd => {
      rdd.foreachPartition(partition => {
        val jedis = RedisUtils.getJedis

        partition.foreach(pair => {
          // hincrBy为field加上指定的值,通过redis的特性即实现了累加的功能
          jedis.hincrBy("redis_wc", pair._1, pair._2)
        })

        jedis.close()
      })
    })

    ssc.start()
    ssc.awaitTermination()

  }

}