全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio

argo workflow官网 https://argoproj.github.io/argo-workflows/使用argo server存在几个问题：1、oa绑定到自己公司困难2、rbac权限是k8s的，而不是web框架中定义的，没法加入自己定义的项目组3、模板市场用户没法自行开发4、没有拖拉拽编排界面5、定时调度没有高级模板变量6、无法进行多k8s集群管理调度，不好划分多项目组资源池…argo dashboard开源地址：https://github.com/tencentmus

最开始采用airflow+k8s分布式容器化调度的方案主要是为了解决下面的问题：1、特有环境/特有脚本调度的调度问题2、大数据量任务或大算力任务节点故障和调度管理问题目前已经基于airflow+k8s改造成多用户-分布式-跨集群-容器化调度的平台。airflow官网：https://airflow.apache.org/docs/stable/airflow介绍airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundati

Prometheus简介（基于Kubernetes） 本文中不包含Alertmanager和远程存储的内容，下次有时间在补充！！！1、Prometheus简介Prometheus是一个开源的系统监控工具。根据配置的任务（job）以http/s周期性的收刮（scrape/pull）指定目标（target）上的指标（metric）。目标（target）可以以静态方式或者自动发现方...

1. Volumes1.1. volume概述容器上的文件生命周期同容器的生命周期一致，即容器挂掉之后，容器将会以最初镜像中的文件系统内容启动，之前容器运行时产生的文件将会丢失。Pod的volume的生命周期同Pod的生命周期一致，当Pod被删除的时候，对应的volume才会被删除。即Pod中的容器重启时，之前的文件仍可以保存。容器中的进程看到的是由其 Docker 镜像和卷...

Kubernetes 暴露服务的方式目前只有三种：LoadBlancer Service、NodePort Service、Ingress；前两种估计都应该很熟悉，下面详细的了解下这个 IngressIngress由两部分组成：Ingress Controller 和 Ingress 服务。参考:https://www.jianshu.com/p/189fab1845c5...

前言：cube是tme开源的云原生机器学习平台，目前包含特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；在线开发，在线的vscode/jupyter代码开发；在线镜像调试，支持免dockerfile，增量构建；任务流编排，在线拖拉拽；开放的模板框架，支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务；task的单节点debug，分布式任务的批量优先级调度，聚合日志；任务运行资源监控，报警；定时调度，支持补录，忽略，重试，依赖，并发限制，定时任务算

前言：cube是tme开源的云原生机器学习平台，目前包含特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；在线开发，在线的vscode/jupyter代码开发；在线镜像调试，支持免dockerfile，增量构建；任务流编排，在线拖拉拽；开放的模板框架，支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务；task的单节点debug，分布式任务的批量优先级调度，聚合日志；任务运行资源监控，报警；定时调度，支持补录，忽略，重试，依赖，并发限制，定时任务算

前言：cube是开源的云原生机器学习平台，目前包含特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；在线开发，在线的vscode/jupyter代码开发；在线镜像调试，支持免dockerfile，增量构建；任务流编排，在线拖拉拽；开放的模板框架，支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务；task的单节点debug，分布式任务的批量优先级调度，聚合日志；任务运行资源监控，报警；定时调度，支持补录，忽略，重试，依赖，并发限制，定时任务算力的智

前言：cube是开源的云原生机器学习平台，目前包含特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；在线开发，在线的vscode/jupyter代码开发；在线镜像调试，支持免dockerfile，增量构建；任务流编排，在线拖拉拽；开放的模板框架，支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务；task的单节点debug，分布式任务的批量优先级调度，聚合日志；任务运行资源监控，报警；定时调度，支持补录，忽略，重试，依赖，并发限制，定时任务算力的智

前言：cube是开源的云原生机器学习平台，目前包含特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；在线开发，在线的vscode/jupyter代码开发；在线镜像调试，支持免dockerfile，增量构建；任务流编排，在线拖拉拽；开放的模板框架，支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务；task的单节点debug，分布式任务的批量优先级调度，聚合日志；任务运行资源监控，报警；定时调度，支持补录，忽略，重试，依赖，并发限制，定时任务算力的智

前言：cube是开源的云原生机器学习平台，目前包含特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；在线开发，在线的vscode/jupyter代码开发；在线镜像调试，支持免dockerfile，增量构建；任务流编排，在线拖拉拽；开放的模板框架，支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务；task的单节点debug，分布式任务的批量优先级调度，聚合日志；任务运行资源监控，报警；定时调度，支持补录，忽略，重试，依赖，并发限制，定时任务算力的智

介绍传统机器学习方法过程TME机器学习平台基于kubeflow做开源改造和产品化，先来看看技术层面kubeflow对机器学习的各个技术环节的附能先简单介绍一下各组件的功能。下面以大项目背景为例简介的，可以在下面的部署中了解更细致的组件内容。jupyter：jupyter 创建和管理多用户交互式Jupyter notebooks。istio：提供微服务的管理，服务网格，网关，里面包含更多的内容knative：serverless的框架，谷歌开源kfserving：模型的在线部署，支持版本控制及

前言：cube是tme开源的云原生机器学习平台，目前包含特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；在线开发，在线的vscode/jupyter代码开发；在线镜像调试，支持免dockerfile，增量构建；任务流编排，在线拖拉拽；开放的模板框架，支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务；task的单节点debug，分布式任务的批量优先级调度，聚合日志；任务运行资源监控，报警；定时调度，支持补录，忽略，重试，依赖，并发限制，定时任务算

一、 A股数据采集可获取：1. 近200个工作日；2. A股所有上市公司；3. 日K数据，比如开盘价、收盘价等数据；4. 基本面数据，比如ROE、毛利率、每股收益等数据。提取的数据以CSV或JSON或Excel形式呈现，示例如下：需要数据可微信扫码赞赏5元，并评论留下邮箱，会尽快发送数据到邮箱。二、 策略选股可输入基本面和一些技术面策略，获取符合策略的公司股票代码及名称。比如，选取最近一次财报中净利润>1亿 && 毛利率>25% &am

建设前准备申请docker 仓库因为总需要存放镜像的仓库，内网可以自己部署harbor，在外网可以官方docker hub，或者阿里云、腾讯云将基础组件推送到内网仓库如果能连接外网的客户忽略。内网无法连接外网，需要我们提前拉好镜像。关于镜像的版本与rancher版本、k8s版本有关。比如我这里使用的是rancher v2.3.2，k8s使用的是v1.15.5不过依赖镜像是在安装r...

https://github.com/tencentmusic/cube-studio

server迁移先在原机器上把数据压缩，不要关闭源集群rancher server 因为后面还要执行kubectldocker create --volumes-from myrancher-new --name rancher-data-new rancher/rancher:v2.3.2docker run --volumes-from rancher-data-new -v $PWD:/backup csighub.tencentyun.com/tme-kubeflow/alpine tar z

简介几分钟快速搭建前后端管理控制台，集成oa登录、rbac权限控制、定时调度、缓存、公司平台sdk、前后端接口自动封装、用户行为记录、数据库升级管理、docker镜像、docker-compose调试、k8s部署框架由来现在对每位开发者全栈能力要求越要越强烈。团队里经常会产出一些工具优化工作效率，工具共享逐步形成管理端控制台，就开始需要有前后端能力介入。此时就要求开发者具有管理控制台的开发能力，而这些控制台大部分又是CURD的基本操作。本开源项目采用fab python框架，部署及生成前后端代码，能够

（作者：全栈工程师开发手册）

（作者：全栈工程师开发手册）Go语言是静态类型语言，这一点和Python不一样，Python是动态类型语言。也就是说，在使用Python时，即使你没有指定变量的类型，在执行代码的过程中，计算机也会自动将数据转换成合适的类型，而静态类型语言中，这样的操作可能会导致编译器报错。1. 弱类型语言可能产生重大错误在弱类型语言，比如JavaScript中，“+”运算符是可以应用于数字和字符串之间的，如果在脚本中使用了“+”运算符，并且没有指定入参和出餐类型，则可能导致当入参类型不同时，也可以相加，并存入数据库。