系列文章目录
Python自动化数据收集项目(1)— 创建项目DAS项目结构
Python自动化数据收集项目(2)— Utils之配置管理工具(configparser的使用)
前言
大家在工作或个人项目中可能经常需要写一些数据收集类的小项目,例如从Jenkins、Confluence、Jira等开放了API的平台获取数据并存储至数据库用于可视化或分析,并且过程最好是自动化定时执行的。这类项目看似简单,但随着周围业务和依赖项的发展,我们需要从多个数据源获取数据并存储至多个数据库中的状况,如果针对每种数据的获取和存储都写一个单独的项目,那我们的多个项目将很难管理。是否考虑过我们做一个易扩展的集成项目,可以让我们自如地应对各种类似的需求呢?我在工作中也有类似的情况,所以决定搭建一个专门用于做数据收集的项目并分享给其他需要的小伙伴。项目就命名为DAS - Data Acquisition Station。本系列文章会记录一步步地实现一个Python+MongoDB的数据收集存储项目,之后会将最新的代码上传至GitHub。
一、开发环境
- VSCode / PyCharm
- Python 3.7+: https://www.python.org/
- MongoDB: htt