数据生成平台-01前期设计

前言：
数据生成平台-项目目标：解决测试数据生成问题，在开发阶段很多时候因为上下功能衔接。需要自己造数据。还有演示系统部署通常是要乱造数据才能保证流程执行。另外一些报表类系统，需要保证数据的丰富性才能较好的展示图表功能。

搜索了很多地方没有找到很合适的生成工具，萌生了自己写一个的想法。由于本人做过一些报表类开发，也使用过阿里云、华为云的报表系统。所以会参考这些成熟的产品做一些功能。另外为了免去一些繁杂的前后端代码和基础功能开发，决定基于 若依开发。若依系统提供了强大的基础功能支撑，作为一个非常出色的后台管理非常好用。并且在基础功能中有大量的交互可以借鉴。因为不是前端开发，所以选择若依的前后端不分离版本。

1.功能模块设计

1. 数据源管理：数据库连接管理和数据连接分组，例如：区分开发环境和测试环境以及其他需要测试数据的情况，例如演示环境和报表

• 数据源管理：用来管理数据连接，可以连接多个类型数据库。数据源可作为数据来源表也可作为数据生成目标表
• 数据源分组：用来统筹管理数据源，主要设想是为了区分环境。比如：开发环境、演示环境，作为环境标识来用

2. 数据集管理： 对数据源中数据表进行管理。将数据源中的数据表载入成数据集并进行一定的加工，例如：字段的转换、记录数的限制（只用表的一部分记录）、字段的隐藏。还可以导入excel表形成新的字典。

考虑数据集是否应该有分组概念：有分组可以包装数据都是在同一环境，没有分组灵活性更大。因为项目是为解决测试数据问题，对数据的准确性安全性没有那么高。所以数据集选择不加入分组限制。

3. 任务管理 ：配置数据生成任务，关于任务的一些详细配置。包括字典比率例如：生成数据男性数据占比70%，女性30%。

关于血缘关系配置应该放到任务配置管理中还是任务计划中的思考。放到任务管理中可以在任务创建时就限定该任务要依赖其它任务的数据，并且多个任务计划中执行都会有此限制。改血缘关系不需要重复配置。放到任务计划中可以更加灵活的配置任务，而且任务计划就是为了管理任务而设计的。最为关键的是某些时候依赖的任务已经生成好了数据，此时就需要回到任务管理中修改该任务的依赖。最终决定血缘关系的配置放到任务计划中。

4. 配置多个任务执行、定时执行、任务执行顺序、以及任务血缘关系（例如：要新生成订单，才能根据订单生成配送单。此时配送单的生成任务要依赖生成订单任务）、任务完成情况统计。

2.业务流程设计

3.数据生成平台-数据库设计

4.寄语

因为是个后台管理系统就不做产品设计了，只是在脑海里有部分功能的印象。至此准备工作完成。自2023年7月16日开始，利用业余时间开发理想中的产品。第一次准备自己做点东西特此记录下。其中有什么值得记录的会发布到此专栏。

最后来一碗毒鸡汤：每一个不曾起舞的日子，都是对生命的辜负。