spring batch
在大数据当道的今天,谈起”批处理“概念似乎有点“过时”了,其实不然,以前一个大牛告诉过我:”没有最好的技术只有最合适的技术“,当时菜鸟期的我懵懵懂懂,现在看来这句话确实有道理,大数据的技术在今天变得不再那么神秘,那么作为一个spring工具型框架spring batch又有什么价值呢?
今日被人接到了一个需求---加息,需求本身没什么难度,关键就是对数据处理的准确性有较高的要求,我可不想上线后处理各种工单- -!加息记录的数据每天估算会有(n*100)W+,每天通过定时任务去处理这么多数据,还不能出现任何问题,用简单的数据处理机制估计出各种数据问题,我想到了以前同事跟我安利的一款spring工具框架springbatch,网上的资料不是很全,所以有些描述不够详细。
springbatch的结构分为以下几层:
- reader
- process
- writer
那么为什么不用大数据而用springbatch呢?
- 个人认为大数据侧重的是数据分析和统计,springbatch的侧重点是“处理”
- reader有很多实现类,读取文件的,访问数据库的等等,也有很多的writer的实现类,跳出了仅仅限于数据库的范围
- springbatch中还有一些异常处理,任务跟踪,蓄发功能
以下是代码:
git@gitee.com:study_and_discussion_group/springboot_batch.git