Docker数据分析

（二）

咱以前部署分析环境有多酸爽？从CentOS到Ubuntu，从Python3.6到3.9，光是一个numpy版本就能让matplotlib当场表演罢工。上个月给新来的实习生配环境，这哥们硬是装了三天都没把PySpark+hive驱动调通。现在直接扔给他个docker-compose.yml，五分钟就能在本地起整套OLAP系统。

（三）

实战中我最常用的组合是JupyterLab + Postgres + Redis全套打包。Dockerfile里把requirement.txt锁死版本，compose文件里挂载volume到NAS，连数据持久化都安排得明明白白。最重要的是能玩出花——想要测试pandas2.0新特性？直接新开容器随便造，根本不用祸害主力环境。

（四）

搞实时数据流的时候更带劲。以前用Kafka搭监控看板，不同组件的版本兼容性能让人崩溃。现在直接把Flink集群拆成四个服务：jobmanager、taskmanager、zookeeper、kafka，compose里定义好网络拓扑，本地测试时整个数据流水线在单机就能跑起来。某次在客户现场演示，临时被要求加个实时计算指标，直接调容器配置重启服务，甲方还以为我们提前做了预案。

（五）

数据科学团队最头疼的模型部署也能玩转。训练好的sklearn模型打包进Alpine镜像，用gunicorn挂REST接口，镜像体积不到800MB。运维那边直接扔k8s集群就能做弹性伸缩，再也不用陪他们折腾conda环境迁移。上周做的销量预测API，从开发到上线只用了两小时，这在以前光申请虚拟机就得走三天流程。

（六）

资源管控才是真痛点。以前跑大规模数据分析总担心内存泄漏，现在给容器设个--memory=4g，超了自动重启服务。更别说用cgroups限制CPU份额，终于不用跟隔壁Java项目抢资源。有回同时跑五个容器做AB测试，每个分配2核CPU，宿主机监控显示资源利用率稳定在70%，这调度精度用虚拟机根本做不到。

（七）

当然也有翻车时刻。有次把mysql数据目录挂载到本地SSD，结果docker重启后权限全乱套。后来学乖了，所有存储卷都用named volume，数据库容器专门写init.sql做初始化。还有次compose里依赖顺序没设对，web服务启动时数据库还没就绪，最后加上healthcheck才解决。

（八）

说点实在的，我们团队现在连airflow调度都容器化了。Python算子、bash任务全扔容器里跑，宿主机干净得能当开发机用。最香的是能实现开发生产环境一致——上次生产环境hive表结构变更，我们直接在镜像里更新thrift驱动，测试通过后滚动更新线上调度器，从发现问题到解决没超过半小时。

（九）

未来打算把整套BI系统都容器化。Superset+ClickHouse已经跑在测试集群，用nginx做反向代理，SSL证书自动续期。虽然前期写Dockerfile确实头秃，但看看现在新同事当天就能上手开发，半夜再也没被报警短信吵醒，这波技术债还得真不亏。