腾讯AI架构师
码龄13年
关注
提问 私信
  • 博客:7,856,378
    社区:9,376
    问答:274
    学院:509
    视频:3
    7,866,540
    总访问量
  • 684
    原创
  • 2,519
    排名
  • 18,237
    粉丝
  • 学习成就

个人简介:主要涉及领域 docker kubernetes 云原生技术,AI平台,大数据架构,python,分布式微服务,自动化运维

IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:山东省
  • 加入CSDN时间: 2011-08-18
博客简介:

全栈工程师开发手册(原创)https://github.com/tencentmusic/cube-studio

博客描述:
https://github.com/tencentmusic/cube-studio,邮箱825485697@qq.com,微信号luanpeng1234。涉及前端,后端,python,c++,java,js,c#,安卓,架构师,爬虫,数据分析,数据开发
查看详细资料
  • 原力等级
    成就
    当前等级
    8
    当前总分
    5,905
    当月
    47
个人成就
  • Python领域优质创作者
  • 博客专家认证
  • 获得5,740次点赞
  • 内容获得1,100次评论
  • 获得21,088次收藏
  • 代码片获得29,524次分享
创作历程
  • 7篇
    2024年
  • 1篇
    2023年
  • 21篇
    2022年
  • 7篇
    2021年
  • 41篇
    2020年
  • 70篇
    2019年
  • 208篇
    2018年
  • 452篇
    2017年
成就勋章
TA的专栏
  • 代码炒股,量化交易
    付费
    1篇
  • 开源
    1篇
  • cube-studio
    18篇
  • matlab2c数据分析 c++ 系列课程
    105篇
  • OPNET网络仿真分析
    10篇
  • c++ 开发 手册
    10篇
  • go开发
    3篇
  • python 机器学习 后端 爬虫 系列课程
    175篇
  • 大数据 系列课程
    63篇
  • 云原生/微服务架构/运维 系列课程
    152篇
  • java 系列课程
    50篇
  • Echarts数据可视化
    26篇
  • android安卓 开发 手册
    40篇
  • js 系列课程
    44篇
  • css 开发 手册
    9篇
  • jquery 开发 手册
    35篇
  • c# 系列课程
    45篇
  • jquery mobile 开发 手册
    27篇
  • 闲情雅致
    20篇
TA的社区
  • 腾讯数据架构师
    2 成员 1 内容
    创建者
  • 栾鹏的课程社区_NO_1
    1 成员 14 内容
    创建者
架构师技术交流
个人微信、python交流群、云原生交流群、AI平台交流群、大数据架构交流群、matlab2c交流群、opnet网络访问交流群
data-infra.jpg

开源一站式云原生机器学习平台
https://github.com/tencentmusic/cube-studio

argo/airflow云原生调度,拖拉拽编排
https://github.com/tencentmusic/argo-workflow

量化交易,商业合作加微信!
创作活动更多

HarmonyOS开发者社区有奖征文来啦!

用文字记录下您与HarmonyOS的故事。参与活动,还有机会赢奖,快来加入我们吧!

0人参与 去创作
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

cube studio 修改logo 水印,标题,图标等信息。

修改后需重新打包前端镜像。
原创
发布博客 2024.08.02 ·
576 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

2024 最新docker/containerd镜像源,8月,9月

最新可用的docker镜像仓库源
原创
发布博客 2024.06.30 ·
29063 阅读 ·
82 点赞 ·
41 评论 ·
96 收藏

cube studio 标注平台label studio,aihub自动化标注能力,大模型自动化标注

cube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台,支持多租户,sso单点登录,支持在线镜像调试,在线ide开发,数据集管理,图文音标注和自动化标注,任务模板自定义,拖拉拽任务流,模型分布式多机多卡训练,超参搜索,模型管理,推理服务弹性伸缩,支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布,以及配套资源监控和算力,存储资源管理。支持机器学习,深度学习,大模型 开发训练推理发布全链路。
原创
发布博客 2024.06.25 ·
1577 阅读 ·
19 点赞 ·
1 评论 ·
22 收藏

sql查询,多数据库引擎,统一olap查询网关入口,支持mysql postgresql clickhouse presto hive impala

cube studio是tme开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;
原创
发布博客 2024.06.24 ·
1032 阅读 ·
5 点赞 ·
0 评论 ·
20 收藏

cube studio开源一站式机器学习平台:k3s部署cube-studio

开源地址:https://github.com/tencentmusic/cube-studiocube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台,支持多租户,sso单点登录,支持在线镜像调试,在线ide开发,数据集管理,图文音标注和自动化标注,任务模板自定义,拖拉拽任务流,模型分布式多机多卡训练,超参搜索,模型管理,推理服务弹性伸缩,支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布,以及配套资源监控和算力,存储资源管理。
原创
发布博客 2024.06.24 ·
1823 阅读 ·
6 点赞 ·
1 评论 ·
20 收藏

cube studio开源一站式机器学习平台:kubesphere部署cube-studio平台

开源地址:https://github.com/tencentmusic/cube-studiocube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台,支持多租户,sso单点登录,支持在线镜像调试,在线ide开发,数据集管理,图文音标注和自动化标注,任务模板自定义,拖拉拽任务流,模型分布式多机多卡训练,超参搜索,模型管理,推理服务弹性伸缩,支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布,以及配套资源监控和算力,存储资源管理。
原创
发布博客 2024.06.24 ·
1661 阅读 ·
24 点赞 ·
0 评论 ·
22 收藏

cube-studio开源一站式机器学习平台,在线ide,jupyter,vscode,matlab,rstudio,ssh远程连接,tensorboard

开源地址:https://github.com/tencentmusic/cube-studiocube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台,支持多租户,sso单点登录,支持在线镜像调试,在线ide开发,数据集管理,图文音标注和自动化标注,任务模板自定义,拖拉拽任务流,模型分布式多机多卡训练,超参搜索,模型管理,推理服务弹性伸缩,支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布,以及配套资源监控和算力,存储资源管理。
原创
发布博客 2024.06.24 ·
2038 阅读 ·
7 点赞 ·
0 评论 ·
25 收藏

github 仓库中的多次代码提交,如何合并为一次的代码提交

Git将打开另一个编辑器窗口,让你编辑合并提交的消息。编写一个描述性的提交消息,然后保存并关闭编辑器。表示从当前提交(HEAD)向后数3个提交。根据你的需求,可以将数字3替换为你想要合并的提交数量。最后,将合并后的分支推送到GitHub。由于这个过程会改变Git历史,所以需要使用。现在,你已经成功地将多个提交合并为一个提交并推送到GitHub仓库。命令进行交互式rebase。这时,Git将执行rebase操作,将多个提交合并为一个提交。要将多次提交合并为一次提交,可以使用Git的。
原创
发布博客 2023.11.07 ·
2023 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

京东、携程、B站、唯品会等大厂都在探索哪些大数据新技术应用?

为了和大家一起探索大数据与云原生强强联合的方式、挖掘由此激发的软件发展和技术进步,第八届DAMS中国数据智能管理峰会将于2022年12月02日在上海举办,携手京东、美团、字节、蚂蚁、网易、新浪、携程、唯品会、哔哩哔哩、vivo、工商银行、平安银行、光大银行等产研界技术领跑单位,带来大数据、数据资产管理、数据治理、数据库、运维、金融科技等领域的先进理念和最佳实践。
转载
发布博客 2022.10.08 ·
1617 阅读 ·
2 点赞 ·
0 评论 ·
3 收藏

ai个性化 国庆 头像 合成

体验地址 http://43.142.20.178/frontend/aihub/model_market/model_all。实现过程 将个人头像人体人脸识别,裁剪出肩膀以上部分,并将图片进行卡通化处理,最后与背景图片和文字合成,效果如下。
原创
发布博客 2022.10.01 ·
2187 阅读 ·
2 点赞 ·
0 评论 ·
4 收藏

cube studio开源一站式云原生机器学习平台--volcano 多机分布式计算

volcano主要为我们提供index job, 也就是启动多个pod,并为每个pod提供index,role,以及其他role的访问地址。保留单机的代码,添加识别集群信息的代码(多少个worker,当前worker是第几个),添加分工(只处理归属于当前worker的任务),使用volcano这个模板,填上自己的worker数量,每个worker的镜像和启动命令就可以了。3、每个worker里面都判别一遍总共需要处理的数据,和当前worker需要处理的数据。1、单机器算力有限,核数不足。
原创
发布博客 2022.07.27 ·
1928 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

cube studio开源一站式云原生机器学习平台--ray 多机分布式计算

开源地址:https://github.com/data-infra/cube-studiocube studio 开源的国内最热门的一站式机器学习mlops/大模型训练平台,支持多租户,sso单点登录,支持在线镜像调试,在线ide开发,数据集管理,图文音标注和自动化标注,任务模板自定义,拖拉拽任务流,模型分布式多机多卡训练,超参搜索,模型管理,推理服务弹性伸缩,支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布,以及配套资源监控和算力,存储资源管理。
原创
发布博客 2022.05.30 ·
1303 阅读 ·
0 点赞 ·
1 评论 ·
1 收藏

cube studio开源一站式云原生机器学习平台--pytorch分布式训练

在单机单卡,或者单机多卡无法在有限时间内完成训练的情况下,我们就需要使用多机多卡分布式训练,在多机多卡分布式训练主要存在几个难点:1、分布式多机多卡集群2、pytorch多机多卡分布式训练代码3、多机多卡分布式训练gpu利用率问题分布式训练集群...
原创
发布博客 2022.05.19 ·
2211 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏

开源 argo dashboard 多集群、多用户、拖拉拽、云原生调度

argo workflow官网 https://argoproj.github.io/argo-workflows/使用argo server存在几个问题:1、oa绑定到自己公司困难2、rbac权限是k8s的,而不是web框架中定义的,没法加入自己定义的项目组3、模板市场用户没法自行开发4、没有拖拉拽编排界面5、定时调度没有高级模板变量6、无法进行多k8s集群管理调度,不好划分多项目组资源池…argo dashboard开源地址:https://github.com/tencentmus
原创
发布博客 2022.05.10 ·
1652 阅读 ·
2 点赞 ·
0 评论 ·
2 收藏

airflow+k8s 多用户-分布式-跨集群-容器化调度

最开始采用airflow+k8s分布式容器化调度的方案主要是为了解决下面的问题:1、特有环境/特有脚本调度的调度问题2、大数据量任务或大算力任务节点故障和调度管理问题目前已经基于airflow+k8s改造成多用户-分布式-跨集群-容器化调度的平台。airflow官网:https://airflow.apache.org/docs/stable/airflow介绍airflow 是一个编排、调度和监控workflow的平台,由Airbnb开源,现在在Apache Software Foundati
原创
发布博客 2022.04.26 ·
4559 阅读 ·
1 点赞 ·
2 评论 ·
7 收藏

Prometheus简介(基于Kubernetes)

Prometheus简介(基于Kubernetes) 本文中不包含Alertmanager和远程存储的内容,下次有时间在补充!!!1、Prometheus简介Prometheus是一个开源的系统监控工具。根据配置的任务(job)以http/s周期性的收刮(scrape/pull)指定目标(target)上的指标(metric)。目标(target)可以以静态方式或者自动发现方...
原创
发布博客 2022.04.18 ·
1531 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

kubernetes存储详解

1. Volumes1.1. volume概述容器上的文件生命周期同容器的生命周期一致,即容器挂掉之后,容器将会以最初镜像中的文件系统内容启动,之前容器运行时产生的文件将会丢失。Pod的volume的生命周期同Pod的生命周期一致,当Pod被删除的时候,对应的volume才会被删除。即Pod中的容器重启时,之前的文件仍可以保存。容器中的进程看到的是由其 Docker 镜像和卷...
原创
发布博客 2022.04.18 ·
1170 阅读 ·
2 点赞 ·
0 评论 ·
2 收藏

使用k8s Ingress暴露gRPC服务

Kubernetes 暴露服务的方式目前只有三种:LoadBlancer Service、NodePort Service、Ingress;前两种估计都应该很熟悉,下面详细的了解下这个 IngressIngress由两部分组成:Ingress Controller 和 Ingress 服务。参考:https://www.jianshu.com/p/189fab1845c5...
原创
发布博客 2022.04.18 ·
1845 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

cube studio开源一站式云原生机器学习平台-推理服务的工程化加速

开源地址:https://github.com/tencentmusic/cube-studiomlops平台:cube studio一站式机器学习mlops/llmops平台,支持多租户,sso单点登录,支持在线镜像调试,在线ide开发,数据集管理,图文音标注和自动化标注,任务模板自定义,拖拉拽任务流,模型分布式多机多卡训练,超参搜索,模型管理,推理服务弹性伸缩,支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布,以及配套资源监控和算力,存储资源管理。支持机器学习,深
原创
发布博客 2022.04.15 ·
4636 阅读 ·
1 点赞 ·
1 评论 ·
3 收藏

cube studio开源一站式云原生机器学习平台-加速分布式任务的运行效率

cube是tme开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;
原创
发布博客 2022.04.15 ·
3023 阅读 ·
3 点赞 ·
5 评论 ·
4 收藏
加载更多