Full stack pipeline 全栈流水线
图片来自:
产品级深度学习系统入门指南
实验管理
Experiment management 实验管理
开发,训练,以及评估策略:
以简单的方法快速开始
以小批量数据训练一个小的模型,如果有效果,扩展到更大的数据和模型,以及进行超参数调优。
实验管理工具:
Tensorboard:提供可视化以及机器学习实验相关的工具
Losswise (可以对机器学习进行监控)
Comet:可以追踪代码,实验,以及机器学习项目的结果
Weights & Biases:记录和可视化你与同事协同研究中的所有细节
MLFlow Tracking:记录参数,代码版本,指标,输出文件,以及结果的可视化
- 在python中用一行代码进行自动化的实验追踪
- 实验之间的比对
- 超参调优
- 支持K8S
标注工具:
分割:labelme,Polygon-RNN++
检测:labelImg
…
开发工具
Git
Docker
VS Code
Jupyter Lab、Jupyter Notebook
…
数据集管理
开源:来源地址,参考链接,存储位置,针对任务,标注类型,文件结构,数据(量)描述,说明文档。
非开源:数据来源,存储位置,针对任务,标注工具,标注类型,文件结构,数据(量)描述,说明文档。
代码管理
一定要使用git管理代码,代码来源
git管理代码的习惯;单元测试的习惯
深度学习工具
画图:
NN-SVG
PlotNeuralNet
转模型:
MMdnn
MMdnn是一套帮助用户在不同深度学习框架间互操作的工具。例如模型转换和可视化。在Caffe, Keras, MXNet, Tensorflow, CNTK, PyTorch Onnx和CoreML之间转换模型。