2019年08月_runzhliu

原创在 K8S 部署一个 Spark History Server - 篇3

文章目录1 Overview2 部署3 SummaryHistory Server -> HS1 Overview因为这个系列的主要是想讲怎么在 K8S 上运行 HS，所以篇3讲述的就是这个，假设你已经有一个 K8S 集群，一个 build 好的 image，本文只是将 HS 运行在 K8S 上，关于日志和其他配置的最佳实践，本文不提供参考。2 部署要将 HS 部署在 K8S ...

2019-08-26 10:27:33 913

原创 ZooKeeper 的应用场景

ZooKeeper 的应用场景文章目录ZooKeeper 的应用场景0 Overview1 一些基本概念2 典型应用场景和实现2.1 数据发布/订阅2.2 负载均衡2.3 命名服务2.4 分布式协调/通知2.5 集群管理2.6 Master 选举2.7 分布式锁2.7.1 排他锁2.7.2 共享锁2.7.3 羊群效应2.8 分布式队列2.8.1 FIFO2.8.2 Barrier3 ZooKee...

2019-08-26 08:25:04 315

翻译关于 K8S API Resources: Group 和 Version 该怎么写

文章目录OverviewAPI ResourcesAPI VersionsSummary原来地址: https://akomljen.com/kubernetes-api-resources-which-group-and-version-to-use/OverviewKubernetes 使用声明式 API 来使得系统更加的健壮。但是这也意味着如果我们要创建一个对象，我们可以通过 CL...

2019-08-25 15:05:21 4588 2

原创 How go build works

文章目录1 Overview2 go build3 Summary1 Overview最近新入 Go 的坑，因为维护一个旧项目，对 go build 百思不得其解，记录一下心路历程…2 go buildgo 命令的执行取决于我们是针对普通的包还是特殊的 main 包。对于包go build 构建包，然后放弃这个构建结果。go install 构建包，然后将包放在 $GOPATH/...

2019-08-20 14:13:43 149

原创 Git 如何压缩 commit

今天同事突然问我，由于在给老大的开源项目提 pr 的时候，自己比较长时间没有 rebase 的老大的项目 master 分支了，而自己提交的 commit 又很多，有些 commit 又是实验性质的，乱七八糟的（其实就是没有用熟 git…），还有不少和老大的代码冲突了。提交代码的时候，老大要求精简一下 commit 否则其他人在看项目的演进的时候会一头雾水的。我认为老大说的是对的，当然也存在一个...

2019-08-19 08:41:26 4146

原创说说 JetBrains

文章目录1 Overview2 Products3 Employee4 Summary1 OverviewWe make professional software development a more productive and enjoyable experience.应该很多朋友都用过 JetBrains，今天突然有兴趣就查了一下相关的资料，分享给大家。因为字母太多，所以下文用 ...

2019-08-12 08:48:06 1063

原创 Kubeflow Pipeline - 构建一个机器学习 Workflow

文章目录1 Overview2 ML Workflow3 Summary1 Overview前面文章介绍过如何通过 Pipeline 来构建工作流，因为 Kubeflow 主要是在机器学习的场景下使用的，那么本文就简单介绍一下怎么构建一个简单 ML 的工作流。官网的给出的例子不是太直观，而且和 GCP 有比较强的耦合，不过仔细看看文档，还是可以总结出一套简单的方案的。提前说明一下，需要的工作...

2019-08-11 16:03:44 2691 4

原创 Kubeflow Pipeline - 构建自定义的 Workflow

文章目录1 Overview2 Steps2.1 理解 component 和 pipeline2.2 Python SDK 构建 component 和 pipeline2.3 上传 pipeline3 Summary1 Overview要把 Kubeflow 的 Pipeline 用溜了，肯定是需要有自定义 Pipeline 的能力了，所以需要熟悉一下 Pipeline 里的一些概念。如...

2019-08-11 13:07:44 2244 2

原创 Kubeflow Pipeline - 上传一个 Pipeline

文章目录1 Overview2 理解 Pipeline2 Upload Pipeline3 Summary1 OverviewPipeline 提供了几个内置的 Pipline…有点绕口，但是真正使用的时候，但是默认提供的几个 Pipeline 都要基于 GCP Google 的云平台，但是我们的目的是在自己的集群部署，自然是访问不到 GCP 的，所以根据官网，总结了一些构建 Pipeline...

2019-08-10 21:51:28 2228 1

原创 Kubeflow Pipeline 部署记录

文章目录1 Overview2 Deploy3 SummaryReference1 OverviewKubeflow 集成了机器学习的很多组件，比如训练、调参、模型部署，也包括了像 Tensorflow, Pytorch 等框架的支持。另外就是其还提供了 Pipeline 组件，用于用户定义机器学习的流程，从开始 -> 训练 -> 保存模型，等常见的机器学习任务流。本文主要从单独...

2019-08-10 20:59:04 1861 3

原创 Kubeflow v0.6.0 部署采坑记录

文章目录1 Overview2 Deploy3 Summary1 Overview安装条件，可以在 Kubeflow requirements 找到，具体贴出来，因为版本不同，以及 K8S 一些自定义配置会对部署造成影响。P.S. 本文部署的是 v0.6.02 Deploy部署提供了集中场景，分别对应 GCP, AWS, ACK, IBM Cloud 等等，本文主要讲的场景是你已经...

2019-08-10 20:18:52 1893 1

原创 Kubeflow 部署采坑记录

文章目录1 Overview2 Deploy2.1 本地部署2.2 init 过程2.2 generate 过程2.3 apply 过程2.4 部署成功2.5 删除3 必须要注意的问题4 部署失败的原因附录Kubeflow = Kubernetes + Machine Learing + Flow1 OverviewKubeflow 是在 K8S 集群上跑机器学习任务的工具集，提供了 T...

2019-08-06 19:19:29 5358 3

runzhliu大数据/容器日记