股票流水定时多线程采集实现
学习目标
1.分析并理解当前股票采集功能存在的问题; 2.理解XXLJOB的使用场景和使用流程; 2.1 掌握xxljob的基本使用流程; 2.2 理解cron表达式; 3.理解xxljob集成到项目的基本流程; 3.1 自定义任务执行器; 3.2 分析国内大盘的开盘周期,自定义适合的cron表达式; 3.3 完成大盘、股票流水、板块数据定义采集功能; 4.多线程优化股票流水采集功能; 5.理解线程池基本工作原理和参数设置原则[面试];
第一章 股票数据采集分析
1、股票流水持续采集问题
1.1 股票流水数据采集
当前我们仅完成了股票瞬时数据的采集工作,但是股票本身的数据是一系列时间的流水,所以我们需要定时定量的采集股票最新的数据;
总之,我们需要借助一个定时任务框架来完成数据周期性的采集工作;
1.2 定时任务框架
若想持续(比如每分钟)采集股票数据,需要借助定时任务组件完成数据周期性采集工作,以下是常见的定时任务框架;
实现方式 | cron表达式 | 监控平台 | 任务告警 | 集群|分布式 | 开发难易程度 |
---|---|---|---|---|---|
JDK 的TimeTask | 不支持 | 无 | 无 | 不支持 | 复杂 |
Spring Schedule | 支持 | 无 | 无 | 不支持 | <