- 博客(816)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 cube studio 开源一站式云原生机器学习平台链接汇总
https://github.com/data-infra/cube-studiocube studio云原生机器学习平台-架构（一）cube studio云原生机器学习平台-架构（二）cube studio云原生机器学习平台-架构（三）cube studio云原生机器学习平台-架构（四）cube studio云原生机器学习平台-架构（五）cube studio一站式云原生机器学习平台-加速模型工程化落地cube studio一站式云原生机器学习平台-加速分布式任务的运行效率cube studi
2022-03-20 19:30:56
4830
2
原创 python系列文章(基础，应用，后端，运维，自动化测试，爬虫，数据分析，可视化，机器学习，深度学习系列内容)
python基础教程python基础系列教程——Python的安装与测试：python解释器、PyDev编辑器、pycharm编译器python基础系列教程——Python库的安装与卸载python基础系列教程——Python3.x标准模块库目录python基础系列教程——Python中的编码问题，中文乱码问题python基础系列教程——python基础语法全解python...
2019-11-07 15:42:48
207394
166
原创 OPNET网络仿真分析-目 录
版权声明：本书为作者版权所有，仅用于学习，请勿商用 OPENT网络仿真分析 （作者：栾鹏、陈玓玏）OPNET网络仿真分析-目录 OPNET网络仿真分析-电子版目 录第一章 OPENT基础 1.1、OPNET简介 1.1.1、网络仿真简介 1.1.2、OPNET简介 1.1.3、OPNET Modeler 1.1.3.1、OPNET Modeler主要功能 1.1.3.2、OPN
2017-09-14 14:18:45
9078
54
原创 cube-studio 模型推理
本文介绍了模型管理和推理服务的核心功能。模型管理支持手动添加或通过pipeline自动注册模型，可进行版本管理，支持子模型和指标配置。推理服务发布分为添加模型和部署两个步骤，提供三种访问方式（域名、IP、header配置），支持流量分流、灰度升级、弹性扩缩容等功能。此外，还详细说明了资源配置（CPU/GPU/内存）、端口管理、健康检查、监控以及不同环境（调试/测试/生产）的差异，为模型服务化提供了完整解决方案。
2025-10-28 10:10:59
858
原创 torch-server推理yolo模型
本文介绍了使用TorchServe进行YOLOv11x模型推理的完整流程。首先在Python 3.10环境中安装所需依赖包，包括PyTorch、TorchServe等。然后下载YOLOv11x.pt模型文件并转换为TorchScript格式。接着准备类别名称JSON文件和自定义Handler处理文件，使用torch-model-archiver将模型打包为MAR格式。最后配置TorchServe服务参数，包括端口、日志等设置，并启动服务。部署完成后可通过Notebook进行测试验证。整个流程涵盖了从环境准备
2025-10-24 11:18:14
731
原创 大模型openai服务网关，认证，限流，接口输入输出的修正，监控等功能
本文介绍了大模型服务网关的设计与功能，主要用于代理多个OpenAI接口并实现认证、限流、监控等功能。主要内容包括：1)三种认证方式(数据库、正则、JWT)；2)秘钥获取位置设置；3)网关功能配置(过期时间、token额度、限速规则等)；4)访问控制(白名单/黑名单机制)；5)请求处理功能(提示词模板、参数映射)；6)调用测试方法和监控功能。该网关系统提供了完整的API代理解决方案，可实现安全、可控的大模型服务访问。
2025-10-03 21:28:59
780
原创 k8s 兼容摩尔线程
本文记录了GPU资源在Kubernetes环境中的部署和使用过程。首先确认主机驱动正常安装，通过mthreads-gmi工具查看GPU卡状态。随后部署K8S device插件并检查节点资源。演示了通过yaml文件创建占用2张GPU卡的Pod，并在容器内验证GPU资源占用情况。最后展示了在Cube Studio平台上部署Deepseek模型的过程，并进行了接口测试验证。整个流程实现了从硬件资源识别到容器化部署再到模型服务的完整链路。
2025-09-28 11:36:31
277
原创 k8s 兼容寒武纪
本文介绍了Kubernetes集群中寒武纪加速卡的配置与使用流程。首先需要安装K8s相关组件包括设备插件(device plugin)，然后通过kubectl describe node命令查询节点可用的寒武纪加速卡数量。最后演示了如何在Pod中测试占用寒武纪卡，并提供了查看Pod内部占用加速卡的截图说明。整个过程涵盖了从驱动安装到资源查询再到实际使用的完整链路，为在K8s环境中使用寒武纪加速硬件提供了操作指南。
2025-09-22 12:23:03
243
原创 一站式人工智能平台/机器学习mlops/深度学习/大模型训练推理AI平台 功能清单列表
支持目标识别，目标边界识别，多目标视频跟踪，目标遮罩识别，图片分类，图片描述，ocr，关键点检测。支持gpu禁用模型，共享模式，独占模式，vgpu模式，支持虚拟化占用显存设定，支持指定卡序号，支持gpu调度binpack调度策略，支持ib-rdma协议。支持大模型网关，支持统一入口，秘钥设定，限速，黑白名单，token限制，监控，有效期设定，多类型秘钥认证，重试，提示词模板，参数值映射，参数值固化。图片去噪声，图片缩放，图片标准化，图片裁剪，图片均衡化，图片的空间转换，图片变换(旋转，平移，缩放，翻转。
2025-09-10 14:55:19
1294
原创 壁仞 k8s 兼容
本文提供了壁仞计算卡在Kubernetes环境中的部署和使用指南。主要包括：1) 壁仞技术安装资料获取；2) 主机驱动和运行时组件安装；3) K8s相关组件部署（device plugin、agent、exporter等）；4) 通过kubectl命令查询节点可用卡数；5) 示例Pod YAML配置及查看Pod占用壁仞卡的方法。该文档为技术人员提供了完整的壁仞计算卡在K8s集群中的集成方案和使用说明。
2025-07-10 18:25:57
158
原创 昇腾 k8s vnpu配置
本文介绍了如何在NPU910B3卡上设置静态虚拟NPU（vNPU）。主要内容包括：1）设置虚拟化模式（容器或虚拟机模式）；2）使用npu-smi命令创建、查看和销毁vNPU；3）修改k8s device插件参数以支持vNPU；4）验证节点vNPU资源；5）使用PyTorch镜像测试vNPU可用性。文档指出MindX DL支持动态虚拟化自动创建vNPU，也支持通过Docker参数直接挂载vNPU到容器。注意每个pod只能使用一张vNPU卡。
2025-07-10 13:15:33
535
原创 cube studio 标注平台label studio，aihub自动化标注能力，大模型自动化标注
cube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台，支持多租户，sso单点登录，支持在线镜像调试，在线ide开发，数据集管理，图文音标注和自动化标注，任务模板自定义，拖拉拽任务流，模型分布式多机多卡训练，超参搜索，模型管理，推理服务弹性伸缩，支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布，以及配套资源监控和算力，存储资源管理。支持机器学习，深度学习，大模型 开发训练推理发布全链路。
2024-06-25 22:40:16
2533
2
原创 sql查询，多数据库引擎，统一olap查询网关入口，支持mysql postgresql clickhouse presto hive impala
cube studio是tme开源的云原生机器学习平台，目前包含特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；在线开发，在线的vscode/jupyter代码开发；在线镜像调试，支持免dockerfile，增量构建；任务流编排，在线拖拉拽；开放的模板框架，支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务；task的单节点debug，分布式任务的批量优先级调度，聚合日志；任务运行资源监控，报警；
2024-06-24 22:07:17
1291
原创 cube studio开源一站式机器学习平台：k3s部署cube-studio
开源地址：https://github.com/tencentmusic/cube-studiocube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台，支持多租户，sso单点登录，支持在线镜像调试，在线ide开发，数据集管理，图文音标注和自动化标注，任务模板自定义，拖拉拽任务流，模型分布式多机多卡训练，超参搜索，模型管理，推理服务弹性伸缩，支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布，以及配套资源监控和算力，存储资源管理。
2024-06-24 17:02:20
3218
1
原创 cube studio开源一站式机器学习平台：kubesphere部署cube-studio平台
开源地址：https://github.com/tencentmusic/cube-studiocube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台，支持多租户，sso单点登录，支持在线镜像调试，在线ide开发，数据集管理，图文音标注和自动化标注，任务模板自定义，拖拉拽任务流，模型分布式多机多卡训练，超参搜索，模型管理，推理服务弹性伸缩，支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布，以及配套资源监控和算力，存储资源管理。
2024-06-24 16:58:25
2524
原创 cube-studio开源一站式机器学习平台，在线ide，jupyter，vscode，matlab，rstudio，ssh远程连接，tensorboard
开源地址：https://github.com/tencentmusic/cube-studiocube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台，支持多租户，sso单点登录，支持在线镜像调试，在线ide开发，数据集管理，图文音标注和自动化标注，任务模板自定义，拖拉拽任务流，模型分布式多机多卡训练，超参搜索，模型管理，推理服务弹性伸缩，支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布，以及配套资源监控和算力，存储资源管理。
2024-06-24 16:53:45
3122
原创 github 仓库中的多次代码提交，如何合并为一次的代码提交
Git将打开另一个编辑器窗口，让你编辑合并提交的消息。编写一个描述性的提交消息，然后保存并关闭编辑器。表示从当前提交（HEAD）向后数3个提交。根据你的需求，可以将数字3替换为你想要合并的提交数量。最后，将合并后的分支推送到GitHub。由于这个过程会改变Git历史，所以需要使用。现在，你已经成功地将多个提交合并为一个提交并推送到GitHub仓库。命令进行交互式rebase。这时，Git将执行rebase操作，将多个提交合并为一个提交。要将多次提交合并为一次提交，可以使用Git的。
2023-11-07 15:34:30
2610
转载 京东、携程、B站、唯品会等大厂都在探索哪些大数据新技术应用？
为了和大家一起探索大数据与云原生强强联合的方式、挖掘由此激发的软件发展和技术进步，第八届DAMS中国数据智能管理峰会将于2022年12月02日在上海举办，携手京东、美团、字节、蚂蚁、网易、新浪、携程、唯品会、哔哩哔哩、vivo、工商银行、平安银行、光大银行等产研界技术领跑单位，带来大数据、数据资产管理、数据治理、数据库、运维、金融科技等领域的先进理念和最佳实践。
2022-10-08 17:57:31
1844
原创 ai个性化 国庆 头像 合成
体验地址 http://43.142.20.178/frontend/aihub/model_market/model_all。实现过程 将个人头像人体人脸识别，裁剪出肩膀以上部分，并将图片进行卡通化处理，最后与背景图片和文字合成，效果如下。
2022-10-01 09:56:26
2324
原创 cube studio开源一站式云原生机器学习平台--volcano 多机分布式计算
volcano主要为我们提供index job， 也就是启动多个pod，并为每个pod提供index，role，以及其他role的访问地址。保留单机的代码，添加识别集群信息的代码（多少个worker，当前worker是第几个），添加分工（只处理归属于当前worker的任务），使用volcano这个模板，填上自己的worker数量，每个worker的镜像和启动命令就可以了。3、每个worker里面都判别一遍总共需要处理的数据，和当前worker需要处理的数据。1、单机器算力有限，核数不足。
2022-07-27 18:51:11
2527
原创 cube studio开源一站式云原生机器学习平台--ray 多机分布式计算
开源地址：https://github.com/data-infra/cube-studiocube studio 开源的国内最热门的一站式机器学习mlops/大模型训练平台，支持多租户，sso单点登录，支持在线镜像调试，在线ide开发，数据集管理，图文音标注和自动化标注，任务模板自定义，拖拉拽任务流，模型分布式多机多卡训练，超参搜索，模型管理，推理服务弹性伸缩，支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布，以及配套资源监控和算力，存储资源管理。
2022-05-30 23:28:50
1732
1
原创 cube studio开源一站式云原生机器学习平台--pytorch分布式训练
在单机单卡，或者单机多卡无法在有限时间内完成训练的情况下，我们就需要使用多机多卡分布式训练，在多机多卡分布式训练主要存在几个难点：1、分布式多机多卡集群2、pytorch多机多卡分布式训练代码3、多机多卡分布式训练gpu利用率问题分布式训练集群...
2022-05-19 20:22:29
2661
原创 开源 argo dashboard 多集群、多用户、拖拉拽、云原生调度
argo workflow官网 https://argoproj.github.io/argo-workflows/使用argo server存在几个问题：1、oa绑定到自己公司困难2、rbac权限是k8s的，而不是web框架中定义的，没法加入自己定义的项目组3、模板市场用户没法自行开发4、没有拖拉拽编排界面5、定时调度没有高级模板变量6、无法进行多k8s集群管理调度，不好划分多项目组资源池…argo dashboard开源地址：https://github.com/tencentmus
2022-05-10 15:39:43
2012
原创 airflow+k8s 多用户-分布式-跨集群-容器化调度
最开始采用airflow+k8s分布式容器化调度的方案主要是为了解决下面的问题：1、特有环境/特有脚本调度的调度问题2、大数据量任务或大算力任务节点故障和调度管理问题目前已经基于airflow+k8s改造成多用户-分布式-跨集群-容器化调度的平台。airflow官网：https://airflow.apache.org/docs/stable/airflow介绍airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundati
2022-04-26 17:26:52
4994
2
原创 Prometheus简介（基于Kubernetes）
Prometheus简介（基于Kubernetes） 本文中不包含Alertmanager和远程存储的内容，下次有时间在补充！！！1、Prometheus简介Prometheus是一个开源的系统监控工具。根据配置的任务（job）以http/s周期性的收刮（scrape/pull）指定目标（target）上的指标（metric）。目标（target）可以以静态方式或者自动发现方...
2022-04-18 19:36:09
1703
原创 kubernetes存储详解
1. Volumes1.1. volume概述容器上的文件生命周期同容器的生命周期一致，即容器挂掉之后，容器将会以最初镜像中的文件系统内容启动，之前容器运行时产生的文件将会丢失。Pod的volume的生命周期同Pod的生命周期一致，当Pod被删除的时候，对应的volume才会被删除。即Pod中的容器重启时，之前的文件仍可以保存。容器中的进程看到的是由其 Docker 镜像和卷...
2022-04-18 19:35:29
1408
原创 使用k8s Ingress暴露gRPC服务
Kubernetes 暴露服务的方式目前只有三种：LoadBlancer Service、NodePort Service、Ingress；前两种估计都应该很熟悉，下面详细的了解下这个 IngressIngress由两部分组成：Ingress Controller 和 Ingress 服务。参考:https://www.jianshu.com/p/189fab1845c5...
2022-04-18 19:33:32
2182
原创 cube studio开源一站式云原生机器学习平台-推理服务的工程化加速
开源地址：https://github.com/tencentmusic/cube-studiomlops平台：cube studio一站式机器学习mlops/llmops平台，支持多租户，sso单点登录，支持在线镜像调试，在线ide开发，数据集管理，图文音标注和自动化标注，任务模板自定义，拖拉拽任务流，模型分布式多机多卡训练，超参搜索，模型管理，推理服务弹性伸缩，支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布，以及配套资源监控和算力，存储资源管理。支持机器学习，深
2022-04-15 22:33:52
5273
1
原创 cube studio开源一站式云原生机器学习平台-加速分布式任务的运行效率
cube是tme开源的云原生机器学习平台，目前包含特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；在线开发，在线的vscode/jupyter代码开发；在线镜像调试，支持免dockerfile，增量构建；任务流编排，在线拖拉拽；开放的模板框架，支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务；task的单节点debug，分布式任务的批量优先级调度，聚合日志；任务运行资源监控，报警；
2022-04-15 22:23:38
3862
6
原创 cube studio 开源一站式云原生机器学习平台-架构（五）
开源地址：https://github.com/tencentmusic/cube-studiomlops平台：cube studio一站式机器学习mlops/llmops平台，支持多租户，sso单点登录，支持在线镜像调试，在线ide开发，数据集管理，图文音标注和自动化标注，任务模板自定义，拖拉拽任务流，模型分布式多机多卡训练，超参搜索，模型管理，推理服务弹性伸缩，支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布，以及配套资源监控和算力，存储资源管理。支持机器学习，深
2022-04-15 20:04:35
2081
原创 cube studio开源一站式云原生机器学习平台-架构（四）
前言：cube是开源的云原生机器学习平台，目前包含特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；在线开发，在线的vscode/jupyter代码开发；在线镜像调试，支持免dockerfile，增量构建；任务流编排，在线拖拉拽；开放的模板框架，支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务；task的单节点debug，分布式任务的批量优先级调度，聚合日志；任务运行资源监控，报警；定时调度，支持补录，忽略，重试，依赖，并发限制，定时任务算力的智
2022-04-15 15:19:11
2891
原创 cube studio开源一站式云原生机器学习平台-架构（三）
前言：cube是开源的云原生机器学习平台，目前包含特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；在线开发，在线的vscode/jupyter代码开发；在线镜像调试，支持免dockerfile，增量构建；任务流编排，在线拖拉拽；开放的模板框架，支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务；task的单节点debug，分布式任务的批量优先级调度，聚合日志；任务运行资源监控，报警；定时调度，支持补录，忽略，重试，依赖，并发限制，定时任务算力的智
2022-04-15 14:21:54
4892
原创 cube studio开源一站式云原生机器学习平台-架构（二）
前言：cube是开源的云原生机器学习平台，目前包含特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；在线开发，在线的vscode/jupyter代码开发；在线镜像调试，支持免dockerfile，增量构建；任务流编排，在线拖拉拽；开放的模板框架，支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务；task的单节点debug，分布式任务的批量优先级调度，聚合日志；任务运行资源监控，报警；定时调度，支持补录，忽略，重试，依赖，并发限制，定时任务算力的智
2022-04-14 22:36:44
4538
原创 cube studio开源一站式云原生机器学习平台-架构（一）
介绍传统机器学习方法过程TME机器学习平台基于kubeflow做开源改造和产品化，先来看看技术层面kubeflow对机器学习的各个技术环节的附能先简单介绍一下各组件的功能。下面以大项目背景为例简介的，可以在下面的部署中了解更细致的组件内容。jupyter：jupyter 创建和管理多用户交互式Jupyter notebooks。istio：提供微服务的管理，服务网格，网关，里面包含更多的内容knative：serverless的框架，谷歌开源kfserving：模型的在线部署，支持版本控制及
2022-04-14 22:19:17
7192
原创 cube studio开源一站式云原生机器学习平台-加速模型工程化落地
开源地址：https://github.com/tencentmusic/cube-studiomlops平台：cube studio一站式机器学习mlops/llmops平台，支持多租户，sso单点登录，支持在线镜像调试，在线ide开发，数据集管理，图文音标注和自动化标注，任务模板自定义，拖拉拽任务流，模型分布式多机多卡训练，超参搜索，模型管理，推理服务弹性伸缩，支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布，以及配套资源监控和算力，存储资源管理。支持机器学习，深
2022-04-14 21:54:24
2555
原创 A股数据采集、策略制定
一、 A股数据采集可获取：1. 近200个工作日；2. A股所有上市公司；3. 日K数据，比如开盘价、收盘价等数据；4. 基本面数据，比如ROE、毛利率、每股收益等数据。提取的数据以CSV或JSON或Excel形式呈现，示例如下：需要数据可微信扫码赞赏5元，并评论留下邮箱，会尽快发送数据到邮箱。二、 策略选股可输入基本面和一些技术面策略，获取符合策略的公司股票代码及名称。比如，选取最近一次财报中净利润>1亿 && 毛利率>25% &am
2022-04-09 17:12:59
1311
linux下捕获数据包libpcap所需安装包
2014-04-03
simplemaps_worldcities_basicv1.6.zip
2020-02-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人