runzhliu大数据/容器日记

记录一些工作中碰到的大数据/容器计算的问题

Kubeflow Pipeline 部署记录

文章目录1 Overview2 Deploy3 SummaryReference 1 Overview Kubeflow 集成了机器学习的很多组件,比如训练、调参、模型部署,也包括了像 Tensorflow, Pytorch 等框架的支持。另外就是其还提供了 Pipeline 组件,用于用户定义机...

2019-08-10 20:59:04

阅读数 160

评论数 0

大规模离线计算产品的调研

文章目录Background资源调度产品形态1 传统计算集群1.1 腾讯云-弹性 MapReduce1.2 腾讯云-云数据仓库套件 Sparkling1.3 阿里云-大数据计算服务 MaxCompute1.4 阿里云-E-MapReduce2 容器化的计算产品2.1 Azure Kubernete...

2019-07-16 19:42:24

阅读数 6022

评论数 0

How go build works

文章目录1 Overview2 go build3 Summary 1 Overview 最近新入 Go 的坑,因为维护一个旧项目,对 go build 百思不得其解,记录一下心路历程… 2 go build go 命令的执行取决于我们是针对普通的包还是特殊的 main 包。 对于包 go b...

2019-08-20 14:13:43

阅读数 0

评论数 0

Git 如何压缩 commit

今天同事突然问我,由于在给老大的开源项目提 pr 的时候,自己比较长时间没有 rebase 的老大的项目 master 分支了,而自己提交的 commit 又很多,有些 commit 又是实验性质的,乱七八糟的(其实就是没有用熟 git…),还有不少和老大的代码冲突了。提交代码的时候,老大要求精简...

2019-08-19 08:41:26

阅读数 2

评论数 0

说说 JetBrains

文章目录1 Overview2 Products3 Employee4 Summary 1 Overview We make professional software development a more productive and enjoyable experience. 应该很多朋友...

2019-08-12 08:48:06

阅读数 38

评论数 0

Kubeflow Pipeline - 构建一个机器学习 Workflow

文章目录1 Overview2 ML Workflow3 Summary 1 Overview 前面文章介绍过如何通过 Pipeline 来构建工作流,因为 Kubeflow 主要是在机器学习的场景下使用的,那么本文就简单介绍一下怎么构建一个简单 ML 的工作流。 官网的给出的例子不是太直观,而且...

2019-08-11 16:03:44

阅读数 40

评论数 0

Kubeflow Pipeline - 构建自定义的 Workflow

文章目录1 Overview2 Steps2.1 理解 component 和 pipeline2.2 Python SDK 构建 component 和 pipeline2.3 上传 pipeline3 Summary 1 Overview 要把 Kubeflow 的 Pipeline 用溜了,...

2019-08-11 13:07:44

阅读数 32

评论数 0

Kubeflow Pipeline - 上传一个 Pipeline

文章目录1 Overview2 理解 Pipeline2 Upload Pipeline3 Summary 1 Overview Pipeline 提供了几个内置的 Pipline…有点绕口,但是真正使用的时候,但是默认提供的几个 Pipeline 都要基于 GCP Google 的云平台,但是我...

2019-08-10 21:51:28

阅读数 41

评论数 0

Kubeflow v0.6.0 部署采坑记录

文章目录1 Overview2 Deploy3 Summary 1 Overview 安装条件,可以在 Kubeflow requirements 找到,具体贴出来,因为版本不同,以及 K8S 一些自定义配置会对部署造成影响。 P.S. 本文部署的是 v0.6.0 2 Deploy 部署提供...

2019-08-10 20:18:52

阅读数 82

评论数 0

Kubeflow 部署采坑记录

文章目录1 Overview2 Deploy2.1 本地部署2.2 init 过程2.2 generate 过程2.3 apply 过程2.4 部署成功2.5 删除3 必须要注意的问题4 部署失败的原因附录 Kubeflow = Kubernetes + Machine Learing + Fl...

2019-08-06 19:19:29

阅读数 130

评论数 0

tf-operator 的测试

文章目录1 Overview2 Setups2.1 Prerequisite2.2 Run3 SummaryReference 1 Overview 近期组内掌管的资源利用效率不够高,我们正在想办法在混部集群(游戏+离线任务),多跑一些离线任务。平台之前提供过一些大规模机器学习的模块给算法同学使用...

2019-07-29 19:19:14

阅读数 40

评论数 0

Spark 面试题系列-2

文章目录1 RDD 如何通过记录更新的方式容错2 Spark 优越性Spark 的几个优势MapReduce 与 Spark 相比,有哪些异同点3 Transformation 和 action 是什么?区别?举几个常用方法4 RDD 容错方式5 可以解释一下这两段程序的异同吗6 说说 map 和...

2019-07-26 10:44:36

阅读数 57

评论数 0

Spark 面试题系列-1

文章目录1 Spark为什么快,Spark SQL 一定比 Hive 快吗2 RDD, DAG, Stage, Task 和 Job 怎么理解?3 宽依赖、窄依赖怎么理解?4 Spark 作业提交流程是怎么样的5 为什么要用 Yarn 来部署 Spark?6 简单说说 Spark 支持的4种集群管...

2019-07-24 18:42:30

阅读数 58

评论数 0

Spark 面试题系列

之前在知乎上整理过一些 Spark 常问的面试题,知识有点老旧了,而且当时没有太注重排版,计划从这篇开始,逐渐将原来的面试题文档给取代掉,预计每篇大概整理10条问题,对 Spark 一些基础知识点,尤其是面试的时候会碰到的问题,来一个总结。 总结的顺序可能是无序的,也就是说,不一定是由浅入深,但是...

2019-07-24 18:41:49

阅读数 56

评论数 0

如何判断环境变量为空

文章目录1 Overview2 Example3 StackOverflow 1 Overview 今天在看 Spark 的脚本的时候,发现很多变量都有用到 {VARIABLE+x} 这种格式,如下: ... ... ... && if ! [ -z ${SPARK...

2019-07-21 18:18:57

阅读数 36

评论数 0

Docker ENTRYPOINT 笔记

文章目录1 Overview2 ENTRYPOINT3 Summary 1 Overview Docker 中 ENTRYPOINT 一直是个容易混淆的概念,今天浏览了一下官网,简单总结一下。官网的参考链接如下。 https://docs.docker.com/search/?q=entrypo...

2019-07-21 10:07:35

阅读数 46

评论数 0

Flink job cluster on Kubernetes

文章目录1 Overview2 Creating the job-specific image3 Deploy Flink job cluster on Kubernetes4 Summary 1 Overview 之前文章介绍了 Flink session cluster on Kubernet...

2019-07-20 17:43:52

阅读数 56

评论数 0

Flink 集群/任务容器化

文章目录1 Overview2 Docker Compose3 Example4 Summary 1 Overview /path/to/flink/flink-container/docker ├── Dockerfile ├── README.md ├── build.sh ├── docke...

2019-07-20 11:13:17

阅读数 45

评论数 0

Flink Dockerfile 走读

文章目录1 Overview2 Dockerfile3 Entrypoint 1 Overview 关于 Flink 的 Docker 相关的配置,可以参考源码这个目录。 /path/to/flink/flink-container/docker ├── Dockerfile // Dockerf...

2019-07-20 10:25:55

阅读数 39

评论数 0

Flink Session Cluster on K8S

文章目录1 Overview2 Setup Kubernetes2 Flink session cluster on Kubernetes2.1 Deploy Flink session cluster on Kubernetes3 Summary 1 Overview 本文是根据官方文档略加编辑...

2019-07-19 15:57:59

阅读数 38

评论数 0

提示
确定要删除当前文章?
取消 删除