Flink:定时加载维表

业务背景：原先有大量数据会去从redis中查询，造成频繁的连接和查询，而且redis中的数据量很小，因此可以采用定时加载维表，将数据加载进每个subtask中。

code：

class CommercialAdvRichMapFunction(redisHost: String, redisPass: String) extends RichMapFunction[Source, Data] {
   
  private val logger: Logger = LoggerFactory.getLogger(this.getClass.getName)

  //  内存维表数据需要被流表数据关联读取、也需要被定时重新加载，这两个过程是不同线程执行，为了尽可能保证数据一致性，使用原子引用变量包装内存维表数据对象即AtomicReference
  private var sideInfo: AtomicReference[java.util.Map[String, String]] = _

  override def open(parameters: Configuration): Unit = {
   
    //  由于数据量很大，不停的从redis中取数会造成性能上问题，这里使用定时全量加载
    sideInfo = new AtomicReference[java.util.Map[String, String]]()
    sideInfo.set(loadData())
    val executors = Executors.newSingleThreadScheduledExecutor()
    //  每5分钟执行一次reload方法重新加载
    executors.scheduleAtFixedRate(new Runnable {
   
      override def run(): Unit = reload()