数据分析系统在生产环境中的迁移

0x00 前言

单位处理出租车数据分析系统时，由于目前政府单位项目涉及的生产环境基本要求为政务云系统，而政务云很难申请外网网络，因此需要考虑在离线linux环境下设计方案。
政务云系统配置：CentOS 7.0 4u 8G，后期内存需要扩容，无外网网络。

0x01 选型

前期在另一套（本地windows）系统中已经有相对完整、持久运行的分析系统，该系统主要使用python代码编写。第一、数据分析中使用python语言与成熟的数据库框架与数据框架可以极大增加生产效率，第二、程序主要在获取数据的基础上进行统计计算，不涉及大量CPU数值运算，运行效率不是首要考虑指标，第三、代码量与规模相对庞大，逻辑比较复杂。因此，尽管java有优秀的跨平台性，不考虑使用java重构代码。

0x02 过程

1. 整理python程序
2. 在本地安装虚拟机 centos7
3. 安装docker
4. docker拉取python37镜像，启动容器
5. 安装必要的库 cx_Oracle numpy sklearn 等，并测试数据库连接
6. 测试python程序
7. 打包

0x03 后面的话

任何技术的选型都是满足实际需要而使用。为了技术而研究技术，在实际工作中无法大范围运用，不久技术就会被遗弃在墙角。