Java
fanghuaiming
真我不拘于行
展开
-
使用位图BitSet针对手机号码进行去重200万以上的数据量
结果:去重200万手机号码大概10秒钟,30万手机号码大概2秒钟号码首先格式是一行一个号码,如果直接进行比较去重,慢不说而且很耗费内存,使用BitSet位图进行去重就简单方便得多,主要是耗费内存比较小而且快,首先初始化一个300万位数的BitSet,他是将手机号码的作为一个int值放在相对应的位置上且标记已存在,如果下一次再放一个同样的手机号码到该位置就提示已存在了,这样就不会有重复,既然Bi...原创 2019-11-28 18:16:17 · 1392 阅读 · 0 评论 -
关于Mybatis批量插入使用JDBC原生batch批处理以及mybatis的ExecutorType.BATCH的批处理和Mybatis的动态sql语句批处理
近期处理数据,总结一下项目背景:从Mongo中定时转移前第7天文本到mysql数据库且生成文件,有各种不同的定时任务,有批次消息、发送明细消息等等很多的数据需要转移,也有老系统和新系统数据的转移,mysql使用的分区表;架构使用的ssm,定时任务使用的xxl-job分布式任务调度上面都是废话;1、JDBC原生batch处理400万条数据/** * @Descriptio...原创 2019-06-28 13:21:34 · 7176 阅读 · 2 评论 -
JJWT应用到前后端分离项目或JSP页面项目中的登录、加签、验签、登出、自动化续签
项目背景:该项目是一个给用户使用的客户端,由于时间比较紧,而且需要考虑到组内开发学习成本所以直接使用的轻量级JWT,并没有使用spring security和OAuth2等;该项目使用技术点:springBoot、spring mvc、mybatis、Spring admin、actuactor、swagger、swaggerdocs等常用技术因为jwt无法对token进行内部...原创 2019-08-14 17:51:46 · 1001 阅读 · 0 评论 -
SpringBoot针对前后端分离CORS跨域中的OPTIONS预请求正确方式
前后端分离情况下,正常的是通过nginx做的跨域设置以及OPTIONS预请求,在springboot代码中同样也可以处理import lombok.extern.slf4j.Slf4j;import org.springframework.beans.factory.annotation.Value;import org.springframework.http.HttpMethod...原创 2019-08-27 15:02:31 · 3798 阅读 · 0 评论