这是我在杭州工作时的一个项目,每天从数据库读取一次销量数据,进行时间序列模型(Prophet)的训练和销量的预测。涉及数据库(MySQL)读取、数据预处理、训练集和测试集划分、模型评价与选取以及预测数据写回(给BI同学)等步骤。本文主要记录工作流程,建模细节暂且不表。
工程结构如下:
1、common.py主要是一些公共函数,比如判断空值、数据库连接与断开、执行SQL等。
2、get_db_data.py的作用是从数据库读取建模需要的数据
3、get_final_data.py的作用是数据预处理和数据转换。
4、Prophet.py的作用是训练、评价模型,并实现预测数据回写。
5、run_prophet.py是主程序,运行从数据库读取数据到预测数据回写的全流程。
6、config_prophet.py提供整个程序运行的参数,包括SKU选取参数、Prophet参数、训练集测试集划分参数等。通过参数文件的配置来控制整个程序的运行。