关于串行和并行的思考
最近一个项目中有如下一个应用场景:
我们实时记录用户的行为,并产生日志,每次产生一条日志的时候,我们就通过一系列规则来判断这个行为是否属于用户监控的行为。 监测日志行为的规则不止一条,而且具有优先级,如果该日志满足多条规则时候,以最高规则为准,处理用户的行为。
我们以前实现的代码如下:
Filter saveLog(Log log){
//在执行前,已经按优先级将filters排序了。
for(Filter filter : filters){
if(filter.doFilte(log)){
return filter;
}
}
}
这样是串行执行,时间复杂度为O(n)
由于我们的系统,大部分情况下不会有满足条件的规则,所以基本都是要遍历一遍这个规则链。
我觉得其实可以用并行来处理,并行匹配每个策略,然后再匹配成功的策略中,进行优先级排序,选择优先级最高的就好了。
Filter saveLog(Log log){
filters.stream().parallel()
.filter(in->in.doFilte())
.max(Comparator.comparing(in.getPrority()))
.get();
}
这样的话,虽然每次都计算所有的规则,但是每个规则计算相互独立,并行计算,可以加快速度,max也是mapreduce的思想,也是并行计算的,速度会非常快。