Flink项目开发记录之使用guava的LoadingCache管理本地化缓存
项目背景:目前项目中一直使用直接访问redis的方式来获取配置数据,一旦数据高频的时候,效率就低下了,由于项目在redis的配置中变动的频率一般,所以就需要本地化缓存来提高效率。
引入jar包:
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>16.0.1</version>
<scope>compile</scope>
</dependency>
本次使用的是google大佬提供的guava包,发现里面的loadingcache能满足我的需求就直接上手了
先来项目的使用代码:
private val protoInfo_cache:LoadingCache[String,Option[Proto]] = CacheBuilder.newBuilder()
.expireAfterWrite(props.getProperty("redis.guava.expireTime","60").toInt,TimeUnit.SECONDS)
.maximumSize(props.getProperty("redis.guava.maxNumber","1000").toInt).recordStats()
.build(
new CacheLoader[String,Option[Proto]] {
override def load(proto: String): Option[Proto] = {
RedisHelper.getObj[Proto](s"${RedisKey.proto}:$proto")
}
}
)
解释一下几个函数的作用
newBuilder():构建CacheBuilder
expireAfterWrite():超时之后重新执行load方法(注意与expireAfterAccess区分)
maximumSize():缓存中存在的最大数量
recordStats():记住缓存的状态(包括命中和丢失次数),命中(hitcount)表示缓存已经有了,被访问的次数,missCount表示缓存中没有的,被请求的次数,也就是第一次访问的时候,missCount+1,去redis中拉取到数据后,在访问相同的key时候,在超时时间允许范围内, hitCount便会+1
build():实现我们的CacheLoader方法,在load中,写我们的具体获取的方法,由于key只能是string,大家在使用的时候注意一下
坑:有个坑请注意一下,数据超时后,不会自动清理,需要有新数据进来后来触发超时的方法的,如果对数据的时效性很高的话,还是建议慎用!