腾讯数据架构师
码龄11年
  • 6,288,387
    被访问
  • 674
    原创
  • 72
    排名
  • 17,054
    粉丝
关注
提问 私信

个人简介:主要涉及领域 docker kubernetes 云原生技术,AI平台,大数据架构,python,分布式微服务,自动化运维

  • 加入CSDN时间: 2011-08-18
博客简介:

全栈工程师开发手册(原创)https://github.com/tencentmusic/cube-studio

博客描述:
https://github.com/tencentmusic/cube-studio,邮箱825485697@qq.com,微信号luanpeng1234。涉及前端,后端,python,c++,java,js,c#,安卓,架构师,爬虫,数据分析,数据开发
查看详细资料
  • 8
    领奖
    总分 4,942 当月 161
个人成就
  • Python领域优质创作者
  • 博客专家认证
  • 获得4,707次点赞
  • 内容获得928次评论
  • 获得14,120次收藏
创作历程
  • 16篇
    2022年
  • 8篇
    2021年
  • 41篇
    2020年
  • 70篇
    2019年
  • 209篇
    2018年
  • 452篇
    2017年
成就勋章
TA的专栏
  • 代码炒股,量化交易
    付费
    1篇
  • matlab2c数据分析 c++ 系列课程
    105篇
  • OPNET网络仿真分析
    10篇
  • c++ 开发 手册
    10篇
  • go开发
    3篇
  • python 机器学习 后端 爬虫 系列课程
    184篇
  • 大数据 系列课程
    63篇
  • 云原生/微服务架构/运维 系列课程
    161篇
  • java 系列课程
    50篇
  • Echarts数据可视化
    26篇
  • android安卓 开发 手册
    40篇
  • js 系列课程
    44篇
  • css 开发 手册
    9篇
  • jquery 开发 手册
    35篇
  • c# 系列课程
    45篇
  • jquery mobile 开发 手册
    27篇
  • 闲情雅致
    18篇
架构师技术交流
个人微信、python交流群、云原生交流群、AI平台交流群、大数据架构交流群、matlab2c交流群、opnet网络访问交流群
data-infra.jpg

开源一站式云原生机器学习平台
https://github.com/tencentmusic/cube-studio

argo/airflow云原生调度,拖拉拽编排
https://github.com/tencentmusic/argo-workflow

量化交易,商业合作加微信!
  • 最近
  • 文章
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

开源 argo dashboard 多集群、多用户、拖拉拽、云原生调度

argo workflow官网 https://argoproj.github.io/argo-workflows/使用argo server存在几个问题:1、oa绑定到自己公司困难2、rbac权限是k8s的,而不是web框架中定义的,没法加入自己定义的项目组3、模板市场用户没法自行开发4、没有拖拉拽编排界面5、定时调度没有高级模板变量6、无法进行多k8s集群管理调度,不好划分多项目组资源池…argo dashboard开源地址:https://github.com/tencentmus
原创
发布博客 2022.05.10 ·
181 阅读 ·
0 点赞 ·
0 评论

airflow+k8s 多用户-分布式-跨集群-容器化调度

最开始采用airflow+k8s分布式容器化调度的方案主要是为了解决下面的问题:1、特有环境/特有脚本调度的调度问题2、大数据量任务或大算力任务节点故障和调度管理问题目前已经基于airflow+k8s改造成多用户-分布式-跨集群-容器化调度的平台。airflow官网:https://airflow.apache.org/docs/stable/airflow介绍airflow 是一个编排、调度和监控workflow的平台,由Airbnb开源,现在在Apache Software Foundati
原创
发布博客 2022.04.26 ·
761 阅读 ·
0 点赞 ·
0 评论

Prometheus简介(基于Kubernetes)

Prometheus简介(基于Kubernetes) 本文中不包含Alertmanager和远程存储的内容,下次有时间在补充!!!1、Prometheus简介Prometheus是一个开源的系统监控工具。根据配置的任务(job)以http/s周期性的收刮(scrape/pull)指定目标(target)上的指标(metric)。目标(target)可以以静态方式或者自动发现方...
原创
发布博客 2022.04.18 ·
81 阅读 ·
0 点赞 ·
0 评论

kubernetes存储详解

1. Volumes1.1. volume概述容器上的文件生命周期同容器的生命周期一致,即容器挂掉之后,容器将会以最初镜像中的文件系统内容启动,之前容器运行时产生的文件将会丢失。Pod的volume的生命周期同Pod的生命周期一致,当Pod被删除的时候,对应的volume才会被删除。即Pod中的容器重启时,之前的文件仍可以保存。容器中的进程看到的是由其 Docker 镜像和卷...
原创
发布博客 2022.04.18 ·
95 阅读 ·
0 点赞 ·
0 评论

使用k8s Ingress暴露gRPC服务

Kubernetes 暴露服务的方式目前只有三种:LoadBlancer Service、NodePort Service、Ingress;前两种估计都应该很熟悉,下面详细的了解下这个 IngressIngress由两部分组成:Ingress Controller 和 Ingress 服务。参考:https://www.jianshu.com/p/189fab1845c5...
原创
发布博客 2022.04.18 ·
89 阅读 ·
0 点赞 ·
0 评论

cube开源一站式云原生机器学习平台-推理服务的工程化加速

前言:cube是tme开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算
原创
发布博客 2022.04.15 ·
2747 阅读 ·
1 点赞 ·
0 评论

cube开源一站式云原生机器学习平台-加速分布式任务的运行效率

前言:cube是tme开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算
原创
发布博客 2022.04.15 ·
977 阅读 ·
3 点赞 ·
2 评论

cube开源一站式云原生机器学习平台-架构(五)

前言:cube是开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算力的智
原创
发布博客 2022.04.15 ·
540 阅读 ·
0 点赞 ·
0 评论

cube开源一站式云原生机器学习平台-架构(四)

前言:cube是开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算力的智
原创
发布博客 2022.04.15 ·
441 阅读 ·
0 点赞 ·
0 评论

cube开源一站式云原生机器学习平台-架构(三)

前言:cube是开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算力的智
原创
发布博客 2022.04.15 ·
365 阅读 ·
1 点赞 ·
0 评论

cube开源一站式云原生机器学习平台-架构(二)

前言:cube是开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算力的智
原创
发布博客 2022.04.14 ·
2115 阅读 ·
0 点赞 ·
0 评论

cube开源一站式云原生机器学习平台-架构(一)

介绍传统机器学习方法过程TME机器学习平台基于kubeflow做开源改造和产品化,先来看看技术层面kubeflow对机器学习的各个技术环节的附能先简单介绍一下各组件的功能。下面以大项目背景为例简介的,可以在下面的部署中了解更细致的组件内容。jupyter:jupyter 创建和管理多用户交互式Jupyter notebooks。istio:提供微服务的管理,服务网格,网关,里面包含更多的内容knative:serverless的框架,谷歌开源kfserving:模型的在线部署,支持版本控制及
原创
发布博客 2022.04.14 ·
2464 阅读 ·
0 点赞 ·
0 评论

cube开源一站式云原生机器学习平台-加速模型工程化落地

前言:cube是tme开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算
原创
发布博客 2022.04.14 ·
303 阅读 ·
0 点赞 ·
0 评论

A股数据采集、策略制定

一、 A股数据采集可获取:1. 近200个工作日;2. A股所有上市公司;3. 日K数据,比如开盘价、收盘价等数据;4. 基本面数据,比如ROE、毛利率、每股收益等数据。提取的数据以CSV或JSON或Excel形式呈现,示例如下:需要数据可微信扫码赞赏5元,并评论留下邮箱,会尽快发送数据到邮箱。二、 策略选股可输入基本面和一些技术面策略,获取符合策略的公司股票代码及名称。比如,选取最近一次财报中净利润>1亿 && 毛利率>25% &am
原创
发布博客 2022.04.09 ·
43 阅读 ·
1 点赞 ·
0 评论

使用rancher自建k8s集群

建设前准备申请docker 仓库因为总需要存放镜像的仓库,内网可以自己部署harbor,在外网可以官方docker hub,或者阿里云、腾讯云将基础组件推送到内网仓库如果能连接外网的客户忽略。内网无法连接外网,需要我们提前拉好镜像。关于镜像的版本与rancher版本、k8s版本有关。比如我这里使用的是rancher v2.3.2,k8s使用的是v1.15.5不过依赖镜像是在安装r...
原创
发布博客 2022.04.08 ·
502 阅读 ·
0 点赞 ·
0 评论

cube开源一站式云原生机器学习平台

https://github.com/tencentmusic/cube-studio
原创
发布博客 2022.03.20 ·
989 阅读 ·
2 点赞 ·
0 评论

rancher 使用部分运维操作

server迁移先在原机器上把数据压缩,不要关闭源集群rancher server 因为后面还要执行kubectldocker create --volumes-from myrancher-new --name rancher-data-new rancher/rancher:v2.3.2docker run --volumes-from rancher-data-new -v $PWD:/backup csighub.tencentyun.com/tme-kubeflow/alpine tar z
原创
发布博客 2021.09.02 ·
340 阅读 ·
0 点赞 ·
0 评论

fab 低代码框架

简介几分钟快速搭建前后端管理控制台,集成oa登录、rbac权限控制、定时调度、缓存、公司平台sdk、前后端接口自动封装、用户行为记录、数据库升级管理、docker镜像、docker-compose调试、k8s部署框架由来现在对每位开发者全栈能力要求越要越强烈。团队里经常会产出一些工具优化工作效率,工具共享逐步形成管理端控制台,就开始需要有前后端能力介入。此时就要求开发者具有管理控制台的开发能力,而这些控制台大部分又是CURD的基本操作。本开源项目采用fab python框架,部署及生成前后端代码,能够
原创
发布博客 2021.08.06 ·
411 阅读 ·
0 点赞 ·
0 评论

Go语言中的变量

(作者:全栈工程师开发手册)
原创
发布博客 2021.05.19 ·
268 阅读 ·
0 点赞 ·
0 评论

GO语言的数据类型

(作者:全栈工程师开发手册)Go语言是静态类型语言,这一点和Python不一样,Python是动态类型语言。也就是说,在使用Python时,即使你没有指定变量的类型,在执行代码的过程中,计算机也会自动将数据转换成合适的类型,而静态类型语言中,这样的操作可能会导致编译器报错。1. 弱类型语言可能产生重大错误在弱类型语言,比如JavaScript中,“+”运算符是可以应用于数字和字符串之间的,如果在脚本中使用了“+”运算符,并且没有指定入参和出餐类型,则可能导致当入参类型不同时,也可以相加,并存入数据库。
原创
发布博客 2021.05.19 ·
173 阅读 ·
0 点赞 ·
0 评论
加载更多