- 博客(13)
- 资源 (4)
- 收藏
- 关注
翻译 如何从单体数据湖迁移到分布式数据网格
背景许多企业正在投资他们的下一代数据湖,希望大规模地应用数据,以提供业务洞察力和高效第做出自动化的智能决策。基于数据湖的大数据平台是常见的错误实现模式,因为这往往会导致大规模无法兑现的承诺。为了克服这样的错误模式,我们需要从中心化的数据湖或其前身数据仓库,转向借鉴现代分布式架构:将领域视为首要关注点、应用平台思维创建自助数据基础架构,并将数据视为产品。我合作的许多公司的首要战略目标之一仍然是成为数据驱动的组织。我的客户非常清楚获得智能授权的好处:提供基于数据和超个性化的最佳客户体验;通过数据驱动的优化
2021-12-08 22:37:02 314
翻译 Debezium迁移和同步Oracle数据
Debezium迁移和同步Oracle数据概览特点部署先决条件部署流程快照connector默认流程--创建初始快照即席快照增量快照算法实现kafka topic对事务的支持数据变化事件keyvalue概览Debezium是RedHat开源的一个将多种数据源实时变更数据捕获,形成数据流输出的开源工具。当前支持MySQL、PostgreSQL、SQL Server、Oracle、Db2等常用数据库。Debezium Oracle connector是基于kafka conect的一种实现,用于捕获并记录O
2021-10-19 09:38:50 5192 1
原创 在本地节点调试webhook
引言通过operator SDK创建的webhook默认使用的service的方式访问webhook server,这需要将webhook部署到k8s上才能工作。对于开发的初级阶段,往往需要在反复修改调试代码,每次将webhook部署到k8s上很不方便。本节将介绍在本地调试webhook的方法。原理webhook分别为两部分,其一是能够处理https请求的web服务器,以及webhook请求的处理程序;其二是在k8s上声明哪些资源对象状态变化需要调用webhook请求,该功能通过创建mutatingw
2021-09-17 15:33:53 1905
原创 开发手册-从零构建operator(三)容器化部署
生成controller镜像接下来我们把生成的执行文件打成docker镜像make docker-build IMG=registry.inspur.com/znbase-controller或者docker build -t registry.inspur.com/znbase-controller如果能看到如下信息,说明镜像生成成功了make docker-build/home/chensj/code/znbase-operator/bin/controller-gen "crd:tri
2021-08-02 08:50:00 896
原创 operator sdk项目的makefile文件分析
引言当使用operator SDK构建的项目是通过make管理工程,在项目的根目录执行make help,可以看到信息如下:Development manifests Generate WebhookConfiguration, ClusterRole and CustomResourceDefinition objects. generate Generate code containing DeepCopy, DeepCopyInto, and DeepCopy
2021-07-30 17:40:19 594
原创 从零开始构建operator(二)添加API和controller
添加新API和controller说明这里需要说明一下,新API和controller之间的关系,本质上说他们没有直接关系。CRD在kubernetes中添加新API的方法叫CRD(另外一种叫做聚合层,不是本文关注的重点,感兴趣的同学可以自行参考官网),是一种在不改变原有API Server接口的情况动态扩展API方法。在本文档中如无特殊说明扩展API等同于CRD。每个CRD对应着一种资源类型,用户创建了新的CRD之后,就可以通过新的API创建该CRD描述的资源,比如名称为ZnbaseCluster
2021-07-30 15:30:12 935
原创 从零开始构建operator(一)构建新工程
缘起kubernetes已是云原生领域事实上的标准,operator作为kubernetes的扩展插件应用也越来越多,几乎所有运行与kubernetes之上的应用程序大都提供相应的operator。本文将描述了如何从零开始构建一个operator的开发过程,其中脚手架框架使用的是operator SDK。前置条件已安装golang开发环境,参见安装golang;已安装operator SDK,参见安装operator SDK;已部署kubernetes集群,推荐使用sealos部署集群;本地用
2021-07-30 14:23:17 837
原创 webhook的证书管理
简介在kubernetes中,为了保证安全要求必须使用https协议访问webhook服务器。这里就会涉及到TLS证书问题,介绍TLS证书的资料很多,基本原理就是通过公钥和私钥验证通信双方的合法身份。在使用operator SDk开发中webhook默认使用名字为webhook-server-cert的secret提供TLS证书。详细内容可以查看配置文件config/default/manager_webhook_patch.yaml中下面部分:...volumes:- name: cert s
2021-07-29 14:08:34 2140
原创 operator sdk与kubebuilder如何选
operator sdk与kubebuilder的区别operator sdk和kubebuilder都是为了用户方便创建和管理operator而生的脚手架项目。对于用基于Golang开发的operator项目而言,operator sdk在底层使用了kubebuilder,例如operator sdk的命令行工具底层实际是调用kubebuilder的命令行工具。所以无论由operator sdk还是kubebuilder创建的operator项目都是调用的controller-runtime接口,而有相
2021-07-20 17:54:54 4123
原创 安装operator sdk
安装operator sdk安装operator sdk源码安装二进制文件安装验证安装operator sdk可以选择源码安装和二进制文件安装源码安装git clone https://github.com/operator-framework/operator-sdkcd operator-sdkgit checkout mastermake install编译成功后命令operator-sdk将被安装到 GOPATH/bin∗∗目录下,需要将该目录配置到系统的∗∗GOPATH/bin*
2021-07-20 16:21:38 690
翻译 OpenAPI规范3.1.0
OpenAPI规范版本 3.1.0介绍OpenAPI规范(OAS)为HTTP API定义了一个与语言无关的标准接口,使得人和计算机都可以在不使用源代码、文档或监听网络流量的情况下,具备发现和理解服务的能力。正确定义后,使用者可以使用最少的实现逻辑来理解远程服务并与之交互。文档生成工具可以使用OpenAPI定义来显示API,代码生成工具可以生成各种编程语言的服务器和客户端代码,测试工具以及许多其他工具也可以使用OpenAPI定义。目录定义OpenAPI 文档Path 模板媒体类型HT
2021-03-11 16:45:13 2855 1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人