自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

全栈工程师开发手册(原创)https://github.com/tencentmusic/cube-studio

https://github.com/tencentmusic/cube-studio,邮箱825485697@qq.com,微信号luanpeng1234。涉及前端,后端,python,c++,java,js,c#,安卓,架构师,爬虫,数据分析,数据开发

  • 博客(806)
  • 资源 (9)
  • 收藏
  • 关注

原创 cube studio 开源一站式云原生机器学习平台链接汇总

https://github.com/data-infra/cube-studiocube studio云原生机器学习平台-架构(一)cube studio云原生机器学习平台-架构(二)cube studio云原生机器学习平台-架构(三)cube studio云原生机器学习平台-架构(四)cube studio云原生机器学习平台-架构(五)cube studio一站式云原生机器学习平台-加速模型工程化落地cube studio一站式云原生机器学习平台-加速分布式任务的运行效率cube studi

2022-03-20 19:30:56 3456 2

原创 微服务架构系列文章、精品教程

架构系列文章大全

2020-03-30 22:35:50 13659 6

原创 python系列文章(基础,应用,后端,运维,自动化测试,爬虫,数据分析,可视化,机器学习,深度学习系列内容)

python基础教程python基础系列教程——Python的安装与测试:python解释器、PyDev编辑器、pycharm编译器python基础系列教程——Python库的安装与卸载python基础系列教程——Python3.x标准模块库目录python基础系列教程——Python中的编码问题,中文乱码问题python基础系列教程——python基础语法全解python...

2019-11-07 15:42:48 202436 164

原创 OPNET网络仿真分析-目 录

版权声明:本书为作者版权所有,仅用于学习,请勿商用 OPENT网络仿真分析 (作者:栾鹏、陈玓玏)OPNET网络仿真分析-目录 OPNET网络仿真分析-电子版目 录第一章 OPENT基础 1.1、OPNET简介 1.1.1、网络仿真简介 1.1.2、OPNET简介 1.1.3、OPNET Modeler 1.1.3.1、OPNET Modeler主要功能 1.1.3.2、OPN

2017-09-14 14:18:45 8651 54

原创 2024 最新docker仓库镜像,6月,7月

最新可用的docker镜像仓库源

2024-06-30 22:10:53 3384 3

原创 cube studio 标注平台label studio,aihub自动化标注能力,大模型自动化标注

cube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台,支持多租户,sso单点登录,支持在线镜像调试,在线ide开发,数据集管理,图文音标注和自动化标注,任务模板自定义,拖拉拽任务流,模型分布式多机多卡训练,超参搜索,模型管理,推理服务弹性伸缩,支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布,以及配套资源监控和算力,存储资源管理。支持机器学习,深度学习,大模型 开发训练推理发布全链路。

2024-06-25 22:40:16 1012

原创 sql查询,多数据库引擎,统一olap查询网关入口,支持mysql postgresql clickhouse presto hive impala

cube studio是tme开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;

2024-06-24 22:07:17 865

原创 cube studio开源一站式机器学习平台:k3s部署cube-studio

开源地址:https://github.com/tencentmusic/cube-studiocube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台,支持多租户,sso单点登录,支持在线镜像调试,在线ide开发,数据集管理,图文音标注和自动化标注,任务模板自定义,拖拉拽任务流,模型分布式多机多卡训练,超参搜索,模型管理,推理服务弹性伸缩,支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布,以及配套资源监控和算力,存储资源管理。

2024-06-24 17:02:20 1295 1

原创 cube studio开源一站式机器学习平台:kubesphere部署cube-studio平台

开源地址:https://github.com/tencentmusic/cube-studiocube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台,支持多租户,sso单点登录,支持在线镜像调试,在线ide开发,数据集管理,图文音标注和自动化标注,任务模板自定义,拖拉拽任务流,模型分布式多机多卡训练,超参搜索,模型管理,推理服务弹性伸缩,支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布,以及配套资源监控和算力,存储资源管理。

2024-06-24 16:58:25 1091

原创 cube-studio开源一站式机器学习平台,在线ide,jupyter,vscode,matlab,rstudio,ssh远程连接,tensorboard

开源地址:https://github.com/tencentmusic/cube-studiocube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台,支持多租户,sso单点登录,支持在线镜像调试,在线ide开发,数据集管理,图文音标注和自动化标注,任务模板自定义,拖拉拽任务流,模型分布式多机多卡训练,超参搜索,模型管理,推理服务弹性伸缩,支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布,以及配套资源监控和算力,存储资源管理。

2024-06-24 16:53:45 1517

原创 github 仓库中的多次代码提交,如何合并为一次的代码提交

Git将打开另一个编辑器窗口,让你编辑合并提交的消息。编写一个描述性的提交消息,然后保存并关闭编辑器。表示从当前提交(HEAD)向后数3个提交。根据你的需求,可以将数字3替换为你想要合并的提交数量。最后,将合并后的分支推送到GitHub。由于这个过程会改变Git历史,所以需要使用。现在,你已经成功地将多个提交合并为一个提交并推送到GitHub仓库。命令进行交互式rebase。这时,Git将执行rebase操作,将多个提交合并为一个提交。要将多次提交合并为一次提交,可以使用Git的。

2023-11-07 15:34:30 1744

转载 京东、携程、B站、唯品会等大厂都在探索哪些大数据新技术应用?

为了和大家一起探索大数据与云原生强强联合的方式、挖掘由此激发的软件发展和技术进步,第八届DAMS中国数据智能管理峰会将于2022年12月02日在上海举办,携手京东、美团、字节、蚂蚁、网易、新浪、携程、唯品会、哔哩哔哩、vivo、工商银行、平安银行、光大银行等产研界技术领跑单位,带来大数据、数据资产管理、数据治理、数据库、运维、金融科技等领域的先进理念和最佳实践。

2022-10-08 17:57:31 1473

原创 ai个性化 国庆 头像 合成

体验地址 http://43.142.20.178/frontend/aihub/model_market/model_all。实现过程 将个人头像人体人脸识别,裁剪出肩膀以上部分,并将图片进行卡通化处理,最后与背景图片和文字合成,效果如下。

2022-10-01 09:56:26 2050

原创 cube studio开源一站式云原生机器学习平台--volcano 多机分布式计算

volcano主要为我们提供index job, 也就是启动多个pod,并为每个pod提供index,role,以及其他role的访问地址。保留单机的代码,添加识别集群信息的代码(多少个worker,当前worker是第几个),添加分工(只处理归属于当前worker的任务),使用volcano这个模板,填上自己的worker数量,每个worker的镜像和启动命令就可以了。3、每个worker里面都判别一遍总共需要处理的数据,和当前worker需要处理的数据。1、单机器算力有限,核数不足。

2022-07-27 18:51:11 1751

原创 cube studio开源一站式云原生机器学习平台--ray 多机分布式计算

开源地址:https://github.com/data-infra/cube-studiocube studio 开源的国内最热门的一站式机器学习mlops/大模型训练平台,支持多租户,sso单点登录,支持在线镜像调试,在线ide开发,数据集管理,图文音标注和自动化标注,任务模板自定义,拖拉拽任务流,模型分布式多机多卡训练,超参搜索,模型管理,推理服务弹性伸缩,支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布,以及配套资源监控和算力,存储资源管理。

2022-05-30 23:28:50 1166 1

原创 cube studio开源一站式云原生机器学习平台--pytorch分布式训练

在单机单卡,或者单机多卡无法在有限时间内完成训练的情况下,我们就需要使用多机多卡分布式训练,在多机多卡分布式训练主要存在几个难点:1、分布式多机多卡集群2、pytorch多机多卡分布式训练代码3、多机多卡分布式训练gpu利用率问题分布式训练集群...

2022-05-19 20:22:29 2004

原创 开源 argo dashboard 多集群、多用户、拖拉拽、云原生调度

argo workflow官网 https://argoproj.github.io/argo-workflows/使用argo server存在几个问题:1、oa绑定到自己公司困难2、rbac权限是k8s的,而不是web框架中定义的,没法加入自己定义的项目组3、模板市场用户没法自行开发4、没有拖拉拽编排界面5、定时调度没有高级模板变量6、无法进行多k8s集群管理调度,不好划分多项目组资源池…argo dashboard开源地址:https://github.com/tencentmus

2022-05-10 15:39:43 1389

原创 airflow+k8s 多用户-分布式-跨集群-容器化调度

最开始采用airflow+k8s分布式容器化调度的方案主要是为了解决下面的问题:1、特有环境/特有脚本调度的调度问题2、大数据量任务或大算力任务节点故障和调度管理问题目前已经基于airflow+k8s改造成多用户-分布式-跨集群-容器化调度的平台。airflow官网:https://airflow.apache.org/docs/stable/airflow介绍airflow 是一个编排、调度和监控workflow的平台,由Airbnb开源,现在在Apache Software Foundati

2022-04-26 17:26:52 4340 2

原创 Prometheus简介(基于Kubernetes)

Prometheus简介(基于Kubernetes) 本文中不包含Alertmanager和远程存储的内容,下次有时间在补充!!!1、Prometheus简介Prometheus是一个开源的系统监控工具。根据配置的任务(job)以http/s周期性的收刮(scrape/pull)指定目标(target)上的指标(metric)。目标(target)可以以静态方式或者自动发现方...

2022-04-18 19:36:09 1434

原创 kubernetes存储详解

1. Volumes1.1. volume概述容器上的文件生命周期同容器的生命周期一致,即容器挂掉之后,容器将会以最初镜像中的文件系统内容启动,之前容器运行时产生的文件将会丢失。Pod的volume的生命周期同Pod的生命周期一致,当Pod被删除的时候,对应的volume才会被删除。即Pod中的容器重启时,之前的文件仍可以保存。容器中的进程看到的是由其 Docker 镜像和卷...

2022-04-18 19:35:29 1077

原创 使用k8s Ingress暴露gRPC服务

Kubernetes 暴露服务的方式目前只有三种:LoadBlancer Service、NodePort Service、Ingress;前两种估计都应该很熟悉,下面详细的了解下这个 IngressIngress由两部分组成:Ingress Controller 和 Ingress 服务。参考:https://www.jianshu.com/p/189fab1845c5...

2022-04-18 19:33:32 1696

原创 cube studio开源一站式云原生机器学习平台-推理服务的工程化加速

开源地址:https://github.com/tencentmusic/cube-studiomlops平台:cube studio一站式机器学习mlops/llmops平台,支持多租户,sso单点登录,支持在线镜像调试,在线ide开发,数据集管理,图文音标注和自动化标注,任务模板自定义,拖拉拽任务流,模型分布式多机多卡训练,超参搜索,模型管理,推理服务弹性伸缩,支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布,以及配套资源监控和算力,存储资源管理。支持机器学习,深

2022-04-15 22:33:52 4354 1

原创 cube studio开源一站式云原生机器学习平台-加速分布式任务的运行效率

cube是tme开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;

2022-04-15 22:23:38 2768 5

原创 cube studio 开源一站式云原生机器学习平台-架构(五)

开源地址:https://github.com/tencentmusic/cube-studiomlops平台:cube studio一站式机器学习mlops/llmops平台,支持多租户,sso单点登录,支持在线镜像调试,在线ide开发,数据集管理,图文音标注和自动化标注,任务模板自定义,拖拉拽任务流,模型分布式多机多卡训练,超参搜索,模型管理,推理服务弹性伸缩,支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布,以及配套资源监控和算力,存储资源管理。支持机器学习,深

2022-04-15 20:04:35 1586

原创 cube studio开源一站式云原生机器学习平台-架构(四)

前言:cube是开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算力的智

2022-04-15 15:19:11 2104

原创 cube studio开源一站式云原生机器学习平台-架构(三)

前言:cube是开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算力的智

2022-04-15 14:21:54 2251

原创 cube studio开源一站式云原生机器学习平台-架构(二)

前言:cube是开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算力的智

2022-04-14 22:36:44 3931

原创 cube studio开源一站式云原生机器学习平台-架构(一)

介绍传统机器学习方法过程TME机器学习平台基于kubeflow做开源改造和产品化,先来看看技术层面kubeflow对机器学习的各个技术环节的附能先简单介绍一下各组件的功能。下面以大项目背景为例简介的,可以在下面的部署中了解更细致的组件内容。jupyter:jupyter 创建和管理多用户交互式Jupyter notebooks。istio:提供微服务的管理,服务网格,网关,里面包含更多的内容knative:serverless的框架,谷歌开源kfserving:模型的在线部署,支持版本控制及

2022-04-14 22:19:17 5497

原创 cube studio开源一站式云原生机器学习平台-加速模型工程化落地

开源地址:https://github.com/tencentmusic/cube-studiomlops平台:cube studio一站式机器学习mlops/llmops平台,支持多租户,sso单点登录,支持在线镜像调试,在线ide开发,数据集管理,图文音标注和自动化标注,任务模板自定义,拖拉拽任务流,模型分布式多机多卡训练,超参搜索,模型管理,推理服务弹性伸缩,支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布,以及配套资源监控和算力,存储资源管理。支持机器学习,深

2022-04-14 21:54:24 1841

原创 A股数据采集、策略制定

一、 A股数据采集可获取:1. 近200个工作日;2. A股所有上市公司;3. 日K数据,比如开盘价、收盘价等数据;4. 基本面数据,比如ROE、毛利率、每股收益等数据。提取的数据以CSV或JSON或Excel形式呈现,示例如下:需要数据可微信扫码赞赏5元,并评论留下邮箱,会尽快发送数据到邮箱。二、 策略选股可输入基本面和一些技术面策略,获取符合策略的公司股票代码及名称。比如,选取最近一次财报中净利润>1亿 && 毛利率>25% &am

2022-04-09 17:12:59 975

原创 使用rancher自建k8s集群

建设前准备申请docker 仓库因为总需要存放镜像的仓库,内网可以自己部署harbor,在外网可以官方docker hub,或者阿里云、腾讯云将基础组件推送到内网仓库如果能连接外网的客户忽略。内网无法连接外网,需要我们提前拉好镜像。关于镜像的版本与rancher版本、k8s版本有关。比如我这里使用的是rancher v2.3.2,k8s使用的是v1.15.5不过依赖镜像是在安装r...

2022-04-08 20:04:52 2625 1

原创 rancher 使用部分运维操作

server迁移先在原机器上把数据压缩,不要关闭源集群rancher server 因为后面还要执行kubectldocker create --volumes-from myrancher-new --name rancher-data-new rancher/rancher:v2.3.2docker run --volumes-from rancher-data-new -v $PWD:/backup csighub.tencentyun.com/tme-kubeflow/alpine tar z

2021-09-02 19:21:15 911

原创 fab 低代码框架

简介几分钟快速搭建前后端管理控制台,集成oa登录、rbac权限控制、定时调度、缓存、公司平台sdk、前后端接口自动封装、用户行为记录、数据库升级管理、docker镜像、docker-compose调试、k8s部署框架由来现在对每位开发者全栈能力要求越要越强烈。团队里经常会产出一些工具优化工作效率,工具共享逐步形成管理端控制台,就开始需要有前后端能力介入。此时就要求开发者具有管理控制台的开发能力,而这些控制台大部分又是CURD的基本操作。本开源项目采用fab python框架,部署及生成前后端代码,能够

2021-08-06 23:05:52 1317

原创 Go语言中的变量

(作者:全栈工程师开发手册)

2021-05-19 21:29:52 380

原创 GO语言的数据类型

(作者:全栈工程师开发手册)Go语言是静态类型语言,这一点和Python不一样,Python是动态类型语言。也就是说,在使用Python时,即使你没有指定变量的类型,在执行代码的过程中,计算机也会自动将数据转换成合适的类型,而静态类型语言中,这样的操作可能会导致编译器报错。1. 弱类型语言可能产生重大错误在弱类型语言,比如JavaScript中,“+”运算符是可以应用于数字和字符串之间的,如果在脚本中使用了“+”运算符,并且没有指定入参和出餐类型,则可能导致当入参类型不同时,也可以相加,并存入数据库。

2021-05-19 20:49:42 396

原创 Go语言安装及简介

(作者:全栈工程师开发手册)一、 Go语言是用来做什么的?Go语言2007年由Google开发,2009年发布,其开发的主要目标,是是“兼具 Python 等动态语句的开发速度和 C 或 C++等编译型语言的性能与安全性”。Go语言能帮助你创建系统程序,或基于网络的程序,设计的目的是解决创建大型并发网络程序所面临的挑战。Go语言相对Java更简单灵活,而相对Python等又更具备类型安全。二、 Go语言Go语言和C++一样,需要进行编译,这一点和Python等解释性语言不同,因此,开发Go语言必须

2021-05-19 20:49:01 384

转载 中国茶

主要为绿茶、白茶、黄茶、青茶、红茶、黑茶。绿茶:不发酵 讲究新鲜绿茶的特点是鲜叶采摘后高温迅速灭掉其中酶类,抑制茶多酚氧化。所以绿茶具有“三绿”的特点:干茶绿,茶汤绿,冲泡后的叶底也是绿色的。喝法:绿茶一般冲泡水温以85℃为宜。冲泡时间以2~3分钟为好。绿茶与水的比例以1∶50为宜。在茶具方面,可以选用瓷杯或透明玻璃杯,冲泡时不要盖盖子。【最适合人群】适合工作忙碌、用电脑较多的青年人;体质偏热、胃火旺、精力充沛的人也可多饮用;注意:绿茶营养丰富,但对肠胃刺激较大,所以过敏体质、脾胃虚寒者不适合;神

2021-03-03 09:35:23 477

原创 jinja2

jinja2 详解

2021-02-02 15:56:46 655

原创 2020 各大厂分享ppt

1.用户增长数据技术驱动全渠道用户触达(网易严选)有赞数据驱动增长体系的建设(有赞)基于doris构建的小程序私域流量增长(智能小程序)2.知识图谱百度知识图谱技术及应用(百度)美团大脑系列商品知识图谱的构建及应用(美团)基于事理图谱的智能培训(贝壳)3.推荐算法深度树匹配召回体系演进(阿里妈妈)粗排技术体系与最新进展(阿里)EdgeRec:边缘计算在推荐系统中的应用(阿里)算力效能技术体系@阿里定向广告(阿里妈妈)多目标排序在快手短视频推荐中的实践(快手)多业务融合推

2020-12-29 23:52:51 3416 4

原创 kong 自建一个具有健康检查功能的http/tcp负载均衡器,配置流量权重,自动/手动目标健康,流量统一认证、鉴权、限流限速、修正,监控、日志等功能

Kong目前kong的最新版为2.2,官方git在https://github.com/Kong/kong,下面是一个kong的简单结构kong的基础结构包含upstream(负载均衡器)、target(目标机器)、service(流量入口)、route(引流规则)。流量如果符合route规则,就会引入到service,进而流入到绑定的upstream。再根据upstream配置的负载均衡策略,流入到健康的target。kong包含无数据库模式,是为了更方便运维管理。不过很多操作会被限制,所以这里还

2020-12-10 23:19:10 2025 1

simplemaps_worldcities_basicv1.6.zip

包含全球城市的坐标和名称信息。包含city city_ascii lat lng country iso2 iso3 admin_name capital population id,可以从https://simplemaps.com/data/world-cities上下载,如果打不开网页吗,可以从这里下载

2020-02-15

网址信息,地址定位

根据网址信息,可以方便的知道网址的现实地址,对查找对方地址有很大帮助

2014-04-03

网页数据整合

提取网页中的元素存到xls中去,根据网页源代码快速提取,整合,对于不能直接导出xls的网页,是很好的选择

2014-04-03

win下捕获分析数据帧

sharpcap捕获分析数据帧,类似于sniffer的功能,自动分析出目的MAC地址,源MAC地址,目的IP地址,源IP地址,和网络层,传输层数据

2014-04-03

c#实现简单图像处理

c#实现简单的图片处理,包含屏幕截图,区域找图,图层处理,图片裁剪,图片预览,图片处理,拖拽图片

2014-04-03

c#实现实时显示cmd操作

c#实现实时显示cmd操作,也可以操作cmd命令,实现简介操作,自己可以任意添加命令

2014-04-03

linux下捕获数据包libpcap所需安装包

linux下捕获数据包libpcap的安装,包含bison-3.0.tar.gz,flex-2.5.37.tar.gz,libpcap-1.5.3.tar.gz,m4-1.4.13.tar.gz

2014-04-03

图标制作替换软件合计

图标制作替换软件合计,内置5个软件,总有一个适合你。给自己的软件配上图标

2014-04-03

举办活动精美ppt模板

比赛时拷贝别人的,绝对精美,里面有好多动画,基本任何活动换图片就可以了

2011-08-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除