【SDC】StreamSets实战之路-14-实战篇- 定时数据迁移

主要通过一个定时数据迁移的案例来介绍Streamsets（3.20.0 汉化版）的使用，主要将mysql的数据定时将前一天的数据迁移到ES中，主要包括任务调度器、定时启动数据迁移数据流等。

学习目的：学习使用调度器定时调度数据迁移数据流、学习数据迁移的流程、学习怎么自动关闭数据流和消息提醒。

需要配置两个数据流

数据迁移调度器数据流

数据迁移工作流

（1）需要在mysql数据库中准备一张每天都有新增数据的表，该表必须有一个时间字段，用于选取时间范围。

1.首先构建数据迁移数据流

从mysql中读取数据我们选用origin类JDBC插件，做一些配置，包括：连接串、用户名密码、根据数据迁移调度器传来的时间范围配置查询SQL语句、Max Batch Size (Records)等等。

注意：为什么选用origin类的JDBC插件读取数据而不选取processors类的JDBC插件读取数据呢？大家思考一下。