IT Panda 的技术博客

上一篇中成功连通Argo与Storage - Minio，那么现在就可以使用 script 这种 template 来 upload 和 download 数据；对于Data Engineering或者Machine Learning来说，这一步都是必须的；download既然是download，那首先需要了解download的 from 和 to 都是哪儿from，肯定是Minio了，但是连接Minio需要mc(Minio client)的帮助，所以需要使用minio/mc这个imageto，肯

继续Argo之旅；Argo基本概念再熟悉下 Argo 的核心概念：WorkflowTemplate，可以看作是function，Argo中的Template有两类：定义Templatecontainer，最常见的，也是Argo的优势script，基于container，你可以写点什么resouce，直接操作k8s的任何resourcesuspend，暂停一段时间，等同于 Thread.wait(int time)调用Templatesteps，直接调用其他Template

首先，啥是workflow?Wiki：a workflow consists of an orchestrated and repeatable pattern of activity是一些被精心编排过的，重复性的活动；对于Data Engineering或者Machine Learning来说，workflow 就是 DAG (有向无环图)，而DAG中的每一步都是一个task，这些task协同工作来完成具体的任务；比如说，ETL，Machine Learning，deployument…而开

首先，A/B testing 并不是机器学习独有的概念，事实上它被用在everywhere[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7CfXPMHk-1594375165804)(https://media2.giphy.com/media/9P3fsk7SesjIverw4Q/giphy-downsized.gif)]...

我敢肯定所有人都在使用git，也有很大一部分在使用kuberntes，但是不确定你是否会对每天都在操作使用的这俩命令行CLI感到好奇? 是否想过对它们的实现一探究竟？毕竟,好奇心是驱使人类进步的一大动力哈哈，直接进入今天的主题；Cobra，一个可以用来创建强大功能命令行CLI的工具，git / kubectl 都是它的代表作。就不翻译 文档 了，先说下基本使用方式，然后直接上例子。Golang 配置和引用 Cobrago get -u github.com/spf13/cobra/cobra

先说结论，失败了… 并没有安装成功，但是记录下整个setup CUDA的方法及流程… 毕竟过程也很重要嘛，哈哈Xcode/Xcode cliCUDA在macOS上需要Xcode的支持，我之前就已经安装过，只不过这次升级了Xcode到 9.4GPU driver到这里找与你系统支持的GPU driver；因为我本季系统是 10.13.4 所以下载的版本是 10.13.4 (17E199) 387.10.10.10.30.106，之后下载安装即可。CUDA driver到这里 下载与 GPU.

MLflowMLflow: the open-source platform for the machine leaning lifecycle, 管理machine learning整个生命周期的一款开源产品,主要提供了三种服务:MLflow Tracking: 记录并维护了machine learning的代码,数据,matrics,config,results…并结合UI展示MLfl...

最近工作上在做搭建机器学习平台的相关工作,使用的是MLflow;但是线上的Data Scientist在使用Pytorch的时候遇到了问题,下面做个记录…现象MLflow在部署使用Pytorch RNN训练的模型的时候,无法正常启动,内部的gunicorn的work无限重启,同时dump thread stack和heap到core文件,一度造成线上GFS run out of space…...