flink往mongo塞数据

mongo里塞数据,存在这个热点缓存问题。
ip映射域名、有可能发http请求获取。这种是一对多。
直接在mongo查。这种是一对一.
spark streaming foreachpartition 几千/s;
以下是我的改造方案, 可以试试这套
flink任务1: mongo oplog —>hbase —>删redis缓存
flink任务2 : 消费主流 查habse redis做缓存 如果主流是日志数据还得加flink状态缓存

异步IO 一定程度上可以解决这种维表关联的问题 但是数据量大了(高峰10w+/s)依然不行. 还是得靠flink状态兜底. 目前我也没发现什么好的解决方案. 我已经是异步IO + 线程池 + redis连接池了
用redis缓存 问题就来了 数据一致性怎么保证 缓存多久,穿透,雪崩怎么解决?
删缓存 是因为更新habse 同时删缓存 ,为了一致性;
维表写hbase的同时，写redis行。然后加个try catch。加锁事务能保证;
但是工程上一般不会去更新redis 代价比较大, 删比较方便
何况oplog 给的数据其实是不全 只有更新的字段;
更新的话 你就得先读 然后修改 然后再put到redis里,相同key先删在insert;
细节上 这种类似问题挺多的 还有维表更新乱序
回刷数据导致维度取最新 等等. 解决下去永远没个头