Spark读取字典文件放入到redis中，解决广播变量广播的数据改变的情况

最新推荐文章于 2022-07-13 16:59:16 发布

卷曲的葡萄藤

最新推荐文章于 2022-07-13 16:59:16 发布

阅读量1.1k

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/weixin_39043567/article/details/89893216

版权

当广播变量无法满足字典内容变化的需求时，可以将字典文件存入Redis。通过建立jedis客户端，实现字典文件到Redis的写入，确保在字典更新时获取最新数据。

摘要由CSDN通过智能技术生成

有时候我们需要用广播变量来使用字典，但是如果字典中的内容是经常变化的，这是广播变量就不能满足我们的需求了。这时可以选择将字典文件读入到redis中，就能保证在字典数据变化的时候我们使用的是最新的字典了。

首先，要构建一个获取jedis 客户端的类。

object JedisPools {

  private val config = new GenericObjectPoolConfig()
  private val pool = new JedisPool(config,"192.168.9.12",6379)
  def getResource()=pool.getResource

}

把字典文件写入redis中，

object Dict2Redis {
  def main(args: Array[String]): Unit = {
    // 0 校验参数个数
    if (args.length != 1) {
      println(
        """
          |cn.dmp.tools.AppDict2Redis
          |参数：
          | appdictInputPath
        """.stripMargin)
      sys.exit()
    }

    // 1 接受程序参数
    val Array(appdictInputPath) = args
    // 2 创建sparkconf->sparkContext
    val sparkConf = new SparkConf()
    sparkConf.setAppName(s"${this.getClass.getSimpleName