- 博客(268)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 kubernetes的DevOps业务(六)：Jenkins，GitLab，Harbor，Tekton，GitOps
前面我们讲解了使用 Jenkins 流水线来实现 Kubernetes 应用的 CI/CD，现在使用tekton流水线，其实整体思路都是一样的，就是把要整个工作流划分成不同的任务来执行，前面工作流的阶段划分了以下几个阶段：。在 Tekton 中我们就可以将这些阶段直接转换成 Task 任务，Clone 代码在 Tekton 中不需要我们主动定义一个任务，只需要在执行的任务上面指定一个输入的代码资源即可。下面我们就来将上面的工作流一步一步来转换成 Tekton 流水线，代码仓库同样还是 http://git.
2022-06-09 15:32:13
590
1
原创 kubernetes的DevOps业务(五)：Jenkins，GitLab，Harbor，Tekton，GitOps
前面我们都是通过创建一个 TaskRun 或者一个 PipelineRun 对象来触发任务，但是在实际的工作中更多的是开发人员提交代码过后来触发任务，这个时候就需要用到 Tekton 里面的 Triggers 概念了。(就是手动和自动的区别)Triggers 同样通过下面的几个 CRD 对象对 Tekton 进行了一些扩展：1.TriggerTemplate: 创建资源的模板，比如用来创建 PipelineResource 和 PipelineRun2.TriggerBinding: 校验事件并提取相
2022-06-05 21:18:19
472
原创 kubernetes的DevOps业务(四)：Jenkins，GitLab，Harbor，Tekton，GitOps
前面我们的两个任务 test 和 build-and-push 都已经完成了，我们还可以创建一个流水线来将这两个任务组织起来，形成一个流水线，这里就是我们要使用的 Pipeline 这个 CRD 对象。流水线流程为先运行 test 任务，如果通过了再执行后面的 build-and-push 这个任务，那么我们可以创建一个名为 test-pipeline.yaml 的资源对象定义流水线需要哪些资源，可以是输入或者输出的资源，在这里我们只有一个输入，那就是命名为 repo 的应用程序源码的 GitHub 仓库
2022-06-05 15:16:17
467
原创 kubernetes的DevOps业务(三)：Jenkins，GitLab，Harbor，Tekton，GitOps
Tekton 安装完成后，我们还可以选择是否安装 CLI 工具，有时候可能 Tekton 提供的命令行工具比 kubectl 管理这些资源更加方便，当然这并不是强制的tekton将全部用到的组建的相关内容都放在github官网上了https://github.com/tektoncd安装完成后可以通过如下命令验证 CLI 是否安装成功：此外，还可以安装一个 Tekton 提供的一个 Dashboard，我们可以通过 Dashboard 查看 Tekton 整个任务的构建过程，直接执行下面的命令直接安装
2022-06-04 16:08:30
348
1
原创 containerd
文章目录容器运行时DockerCRIContainerd架构安装配置使用(contianerd的CLI:ctr)镜像操作拉取镜像列出本地镜像检测本地镜像重新打标签删除镜像将镜像挂载到主机目录将镜像从主机目录上卸载将镜像导出为压缩包从压缩包导入镜像容器操作创建容器列出容器查看容器详细配置删除容器任务命名空间切换容器运行时维护节点切换 containerdcrictl安装用法获取 Pod 列表获取镜像列表获取容器列表在容器中执行命令输出容器日志资源统计CLI 对比镜像相关容器相关Pod 相关日志配置nerdct
2022-05-26 22:05:21
2199
1
原创 kubernetes的DevOps业务(二)：Jenkins，GitLab，Harbor，Tekton，GitOps
文章目录Jenkins流水线在 Slave 中构建任务部署 Kubernetes 应用PipelineTekton组件安装Jenkins流水线Jenkins Pipeline要实现在 Jenkins 中的构建(构建任务)工作，可以有多种方式，我们这里采用比较常用的 Pipeline 这种方式。Pipeline，简单来说，就是一套运行在 Jenkins 上的工作流框架，将原来独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂流程编排和可视化的工作。Jenkins Pipeline 有
2022-05-23 00:33:59
1584
原创 kubernetes的DevOps业务(一)：Jenkins，GitLab，Harbor，Tekton，GitOps
文章目录CI/CDJenKins安装插入一个问题解决(没遇到这个问题的直接跳过)架构配置测试GitlabGit部署配置gitgit本地仓库使用对比各个区域文件内容之间的差异git diff对比工作区和暂存区git diff --cached可以比对暂存区和本地仓库的文件差异git commit流程与使用git loggit版本控制系统回退工作区回退(git checkout)暂存区退回到本地文件修改(git reset HEAD)上传至本地仓库回退(git reset --hard)git分支和操作创建删除
2022-05-20 00:13:07
6577
4
原创 service mesh:istio全
环境：一个k8s集群，三台centos7,内核3.10，域名解析部署：**下载指定版本:curl -L https://istio.io/downloadIstio | ISTIO_VERSION=1.13.2 sh -**或者wget下载：wget https://github.com/istio/istio/releases/download/1.13.2/istio-1.13.2-linux-amd64.tar.gz(无非就是下载下这个tar.gz)(架构一般都是用amd的64位)
2022-04-07 21:37:21
2421
原创 k8s的operator开发项目
go语言基于kubebuilder实现一个gateway的operator，gateway是我开发的一款网关，项目链接https://github.com/20gu00/gateway。operator使gateway网关更贴合云原生环境，自动检测调谐gateway的deploy和service等。我将crd和operator一块生成了个镜像，可以用容器方式运行operator。
2022-10-31 10:46:41
512
2
原创 云原生运维开发项目
整个项目高度容器化，k8s是基石环境，采用go语言go-zero框架编写的微服务架构的应用程序(当然这里单体和微服务之间的转换很平滑,为了更明显突出servicemesh效果我优先考虑了微服务架构)，主题上可封为两大部分，后台管理系统和服务应用，在支付和订单的逻辑处理间为了保证消息数据的正确使用，接入kafka做消息队列，部分延时功能用ansyq做延时队列，运行在istio中，做流量管理负载均衡、安全管控、链路追踪、故障注入、熔断、流量镜像等。2.接入dapr，更好的开发微服务。日志：ELK Loki。
2022-09-23 01:16:41
1064
原创 dapr系列(二)
在前面，调用了DaprHTTPAPI从Redis支持的状态存储中存储和检索状态。Dapr通过初始化创建的默认组件定义文件，使用你的机器上本地配置好的Redis实例。当制造一个应用程序时，你很可能会根据你想使用的制造时间和特定的组件来定义自己的组织文件。作为如何为你的应用程序定义自定义组件的示例，现在创建一个组件定义文件以与secretbuildingblock进行交互。1.创建本地JSON密钥存储2.使用定义组件文件在Dapr注册密钥存储创建组件定义文件构建块和。.........
2022-07-17 13:45:44
934
1
原创 dapr系列(一)
分布式应用程序运行时(distributeapplicationruntime)Dapr是一个可移植的、事件驱动的运行时，它使任何开发人员都可以轻松构建在云和边缘上运行的弹性、无状态和有状态的应用程序，并包含语言和开发人员框架的多样性。任何语言，任何框架，任何地方可以看出它是不限制任何语言的，跨语言，平台无关业内正在经历一波云采用浪潮。开发人员对Web+数据库应用程序架构感到满意，例如经典的3层设计，但对本质上是分布式的微服务应用程序架构不满意。成为分布式系统专家很难。云原生模式。......
2022-07-17 00:54:32
674
原创 micro、M3O微服务系列(三)
Micro是一个云原生开发平台。它由服务器、命令行界面和服务框架组成，使您能够构建、运行、管理和使用微服务。被认为很像一种语言规范，并且会随着时间的推移而发展。auth服务存储帐户和访问规则。它为Micro运行时中的所有身份验证和授权提供了单一的事实来源。每个服务和用户都需要一个帐户才能操作。当运行时启动服务时，会为其生成一个帐户。微负载规则定期运行的核心服务和服务，并根据每个请求管理对其资源的访问。代理为pubsub消息传递提供了一个简单的抽象。它专注于即发即弃异步通信的简单语义。.........
2022-07-16 20:41:49
879
原创 micro、M3O微服务系列(二)
确保microserver在另一个终端中运行，并且我们已连接到它，即运行微服务器查看我们当地的环境如果不是本地环境，运行需要3种方法Save用于博客插入和更新Query用于阅读和列出Delete删除从ports开始虽然我们已经定义了Post消息类型，但我们仍然将一些字段重新定义为消息类型的顶级字段SaveRequest。主要原因是我们不想要要重新生成proto，我们必须makeproto在项目根目录中发出命令。上面这段代码使用了ModelPackage。.........
2022-07-15 23:22:42
249
原创 micro、M3O微服务系列(一)
微服务是一种软件架构模式，用于将大型单体应用程序分解为较小的可管理独立服务，这些服务通过语言无关协议(protocolbuffers、grpc、micro)进行通信，每个服务都专注于做好一件事。(但注意不是让你将应用无限制的拆分，并不是什么都拆的越小越好)微服务的概念并不新鲜，这是对面向服务架构的重新构想，但采用了一种更全面地与unix进程和管道保持一致的方法。微服务架构的理念这些服务是小型的——细粒度的作为一个单一的商业目的，类似于“做一件事，把它做好”的unix哲学事实上的资源。.........
2022-07-15 17:57:14
397
原创 kubernetes的DevOps业务(七)：Jenkins，GitLab，Harbor，Tekton，GitOps
你可能听说过 DevOps，或者 AIOps、ChatOps 等，那么 GitOps 又是什么呢？GitOps 是 Weaveworks 提出的一种持续交付方式，它的核心思想是将应用系统的声明性基础架构和应用程序存放在 Git 版本库中。将 Git 作为交付流水线的核心，每个开发人员都可以提交拉取请求（Pull Request）并使用 Git 来加速和简化 Kubernetes 的应用程序部署和运维任务。通过使用像 Git 这样的简单工具，开发人员可以更高效地将注意力集中在创建新功能而不是运维相关任务上（
2022-06-21 09:24:49
916
原创 go微服务系列(十一)：gRPC和Thrift使用与选型
其实，除了 gRPC 外，Facebook 开源的 Thrift 框架也是业界较为流行的 RPC 方案，比如 HBase 就是使用它来提供 API 支持的。gRPC 是由 Google 开源的高性能 RPC 框架。自 2015 年发布以来，gRPC 日益成熟，并成为跨语言 RPC 通信中最流行也最受欢迎的选择之一。gRPC 拥有很多特性，其中最引人注目的有以下几个方面：1.内置流式 RPC 支持。这意味着你可以使用同一 RPC 框架来处理普通的 RPC 调用和分块进行的数据传输调用，这在很大程度上统一了网络
2022-06-21 00:31:14
2177
原创 go微服务系列(十)：Go RPC实现服务间通信
Go 语言原生的 RPC 过程调用实现起来非常简单。服务端只需实现对外提供的远程过程方法和结构体，然后将其注册到 RPC 服务中，客户端就可以通过其服务名称和方法名称进行 RPC 方法调用。使用字符串操作的服务来展示如何使用 Go 语言原生的 RPC 来进行过程调用。第一步，定义远程过程调用相关接口传入参数和返回参数的数据结构。如下代码所示，调用字符串操作的请求包括两个参数：字符串 A 和字符串 B。第二步，定义一个服务对象。这个服务对象可以很简单，比如类型是 int 或者是 interface{}，
2022-06-21 00:01:42
1228
1
原创 go微服务系列(九)：微服务之间进行远程方法调用
RPC（Remote Procedure Call，远程过程调用协议），是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC 只是一套协议，基于这套协议规范来实现的框架都可以称为 RPC 框架，比较典型的有 Dubbo、Thrift 和 gRPC。RPC 是远程过程调用的方式之一，涉及调用方和被调用方两个进程的交互。因为 RPC 提供类似于本地方法调用的形式，所以对于调用方来说，调用 RPC 方法和调用本地方法并没有明显区别。下面，我们就来简单介绍一下 RPC 机制的诞生和基础概
2022-06-20 23:18:17
973
原创 go微服务系列(八)：在go-kit和sevice-mesh进行服务注册与发现
在本课时，我们将使用 Go-kit 提供的服务注册与发现工具包完成服务注册与发现，并介绍 Service Mesh 中 Istio 是如何进行服务注册与发现的。强烈建议使用istio自主开发服务注册与发现客户端固然能够加深我们对微服务和服务注册与发现中心交互流程的理解，但同样会增加开发人员的理解成本，比如要了解服务注册与发现中心对外提供的接口、提交数据的具体细节，以及在服务注册与发现中心版本升级迭代或者 API 发生更新时，还需要持续维护客户端代码以避免不可用情况的发生，等等。Go-kit 作为一套微服务工
2022-06-19 16:06:36
632
原创 go微服务系列(七)：consul给微服务添加服务注册与发现
微服务架构按业务划分微服务的特点，使得原本聚合了大量业务模块的单体应用被划分为众多的微服务。而大量微服务的出现，势必会带来运维管理上的巨大挑战，于是服务注册与发现这类自动化策略应运而生。但是引入服务注册与发现就可能引入额外技术栈，增加系统总体的复杂性，比如会引入中心化的服务注册与发现中心这类基础组件。在本课时，我们将基于 Consul 给微服务添加服务注册与发现的能力。首先，我们会基于 Kubernetes 搭建一个接近生产环境的 Consul 集群；接着再基于搭建好的 Consul 集群，为我们的微服务添
2022-06-19 15:16:36
1874
原创 go微服务系列(六)：服务注册和服务发现如何满足服务治理
在单体应用向微服务架构演进的过程中，原本的巨石型应用会按照业务需求被拆分成多个微服务，每个微服务会提供特定的功能，并可能依赖于其他的微服务。每个微服务实例都可以动态部署，服务实例之间的调用通过轻量级的远程调用方式（HTTP、消息队列等）实现，它们之间通过预先定义好的接口进行访问。由于服务实例是动态部署的，每个服务实例的地址和服务信息都可能动态变化，这就势必需要一个中心化的组件对各个服务实例的信息进行管理，该组件管理了各个部署好的服务实例元数据，包括服务名、IP 地址、端口号、服务描述和服务状态等。服务注册与
2022-06-19 14:47:53
857
原创 go微服务系列(五)：结合jenkins完成持续化集成部署和自动化测试
在微服务开发团队中，一般会采用敏捷开发这类增长式的开发方式，这能有效提高各个微服务的迭代效率。为了让完成的代码能够尽快得到反馈，我们建议尽早将完成的代码提交到代码库中被集成部署，每天一次甚至一天多次，通过自动构建和自动化测试，尽早检测出集成的错误，从而确保错误被尽快发现和纠正。在敏捷开发中，持续集成（CI，Continuous Integration）是为了更快地发现和修复系统集成遇到的各类问题，它建议开发人员一天最少提交一次或者多次代码到代码库中，让自动化工具对提交的代码进行集成部署，并使用自动化测试工具
2022-06-19 14:33:07
1257
原创 go微服务系列(四)：微服务docker容器化部署和kubernetes编排
今天我们主要来介绍微服务 Docker 容器化部署和 Kubernetes 容器编排的案例。微服务架构“分而治之”的手段将大型系统按业务分割为多个互相协作的微服务，每个微服务关注于自身业务职责，可独立开发、部署和维护，从而更好地应对频繁的需求变更和迭代。但是数量众多的微服务实例给运维带来了巨大的挑战，如果没有好的办法快速部署和启动微服务，那么微服务架构带来的好处将所剩无几。而容器化和容器编排的兴起正好填补了这个缺点。在上一课时中，我们运用 DDD 将货运平台应用划分了 4 个微服务进行开发，为了解决大量
2022-06-19 10:04:18
1462
原创 go微服务系列(三)：货运平台的微服务划分
在本课时，我们会首先介绍后续课程开展依赖的业务系统，也就是货运平台的功能需求，然后再基于这些需求划分货运平台的领域和限界上下文 ，最后对每个限界上下文进行战术设计，设计它们的领域对象和领域服务，为后续微服务的开发做好铺垫。项目实践最好是基于相对真实的业务开展，这样才能使你在项目实践中学到的技巧更好应用到实际开发中。本课程的后续项目实践中，我们将会以一个货运平台应用作为微服务实战项目，它需要满足以下条件：1.具备一定的复杂性，能够演示每个微服务的作用；2.业务逻辑不会过于复杂，避免你在相关专业范畴的理解上浪
2022-06-18 23:28:07
443
原创 go微服务系列(二):go-kit开发web应用
在前面的课时中，我们演示的 Go 例子基本都是一个简单的 main 函数，运行一小段逻辑代码，并没有涉及引入包外代码和组织 Go 项目内包依赖的方法。为了在编写项目代码时，能够引入其他开发者开源的优秀工具包，因此在进行具体的项目开发之前，我们有必要先介绍下 Go 语言的依赖包管理工具——Go Modules 。在 Go Modules 被正式推出之前，我们一般是在工作目录下组织 Go 项目的开发代码。工作目录一般由 3 个子目录组成：1.src，项目的源代码或者外部依赖的源代码以包的形式存放于此，一个目录即
2022-06-18 13:16:30
1095
原创 go微服务系列(一):并发程序设计基础
我们都知道计算机的核心为 CPU，它是计算机的运算和控制核心，承载了所有的计算任务。最近半个世纪以来，由于半导体技术的高速发展，集成电路中晶体管的数量也在大幅度增长，这大大提升了 CPU 的性能。著名的摩尔定律——“集成电路芯片上所集成的电路的数目，每隔18个月就翻一番”，描述的就是该种情形。过于密集的晶体管虽然提高了 CPU 的处理性能，但也带来了单个芯片发热过高和成本过高的问题，与此同时，受限于材料技术的发展，芯片中晶体管数量密度的增加速度已经放缓。也就是说，程序已经无法简单地依赖硬件的提升而提升运行速
2022-06-17 00:38:05
264
原创 ansible快速部署k8s集群
整个项目我放在了我的gitee上和github上https://gitee.com/a-bais/ansible-k8s-docker-kubeadmhttps://github.com/20gu00/ansible-k8s-docker-kubeadm里面READ.me文件描述了使用的步骤，可以直接克隆下来使用，亲测排错放下我的READ.me文件：.........
2022-06-16 00:54:54
1422
原创 go基于k8s二次开发(二）
接下来用代码创建资源，先将前面的main函数改个名比如list()，作为一个模块，都是在同一个目录下，同一个main包，下面创建main函数，实现这个创建资源的操作，因为go run需要有main函数存在(模块化编程)先放源码create方法需要的参看源码可以知道client-go创建deployment主要是写这些信息可以看到的ObjectMeta结构体中可以定义哪些内容都是这样，详细的内容记不住就看源码或者帮助文档...
2022-06-14 14:43:12
815
原创 go基于kubernetes的二次开发(一)
一些概念:1.SDK 就是 Software Development Kit 的缩写,中文意思就是【软件开发工具包】2.client-go是kubernetes官方提供的go语言的客户端库,go应用使用该库可以访问kubernetes的API Server,这样我们就能通过编程来对kubernetes资源进行增删改查操作3.“API（ 应用程序编程接口）：一套明确定义的各种软件组件之间的通信方法。(你的开发工具比如goland要配置好GOROOT和GOPATH)下载对应版本(建议，逻辑理解更清
2022-06-13 22:43:12
1541
1
原创 kubeadm,kubevip,containerd部署高可用的kubernetes集群
文章目录环境准备安装 Containerd负载均衡器(kube-vip)初始化控制平面添加control plane node添加work node测试高可用Dashboard重新配置前提单 master 的集群对于生产环境风险太大了，非常有必要做一个高可用的集群，这里的高可用主要是针对控制面板(master节点)来说的，比如 kube-apiserver、etcd、kube-controller-manager、kube-scheduler 这几个组件，其中 kube-controller-manage
2022-05-28 14:27:41
1099
2
原创 kubernetes部署(containerd版)
文章目录环境准备安装 Containerd使用 kubeadm 部署 Kubernetes添加节点Dashboard清理使用 kubeadm 从头搭建一个使用 containerd 作为容器运行时的 Kubernetes 集群，这里我们安装 v1.22.1 版本。环境准备节点的 hostname 必须使用标准的 DNS 命名，另外千万不用什么默认的 localhost 的 hostname，会导致各种错误出现的。在 Kubernetes 项目里，机器的名字以及一切存储在 Etcd 中的 API
2022-05-27 14:34:45
2181
原创 数据库系列:mysql，mariadb，redis
mariadb部署mysql(笔记个人用)安装mysql的几种方法汇总与keepcache用法redis部署mysql安装redis学习接"mysql(笔记个人用)"
2022-05-23 19:25:04
152
原创 kubernetes存储：local，openEBS，rook ceph
文章目录Local 存储(PV)概念hostPathLocal PVstorageClassName指定延迟绑定动作pv的删除流程OpenEBS存储控制平面OpenEBS PV ProvisionerMaya-apiserverMaya Volume ExporterVolume 管理 Sidecars节点磁盘管理器数据平面JivacStorLocal PV(普通情况下使用，网络性较小)安装测试(一般简单的使用就是用OpenEBS的local PV)ceph简介高性能高可用性高可扩展性(分布式的特性)特性丰
2022-05-08 13:27:16
4641
3
原创 kubernetes的ingress：Ingress controller，traefik
文章目录Ingress介绍nginx ingress controlleringressURL RewriteBasic Auth灰度发布等各种发布方式HTTPSCertManager 自动 HTTPS安装配置自动化 HTTPSHTTP-01 校验DNS-01 校验Traefik核心概念traefik安装ACME中间件Traefik Pilot灰度发布流量复制TCPTCP服务实例带 TLS 证书的 TCPUDPIngress介绍对外暴露集群服务前面我们学习了在 Kubernetes 集群内部使用 ku
2022-05-05 21:00:58
1974
原创 nginx，php，lnmp基础知识汇总(部署配置主要是在宿主机上)
文章目录nginx实战记录常见错误和注意事项php学习lnmp的笔记专栏推荐最近要对写云原生应用设置各类负载均衡等，想起之前学的nginx，就将笔记汇总下nginx实战记录nginx常用模块之目录索引nginx常用模块之状态监控nginx常用模块之访问控制nginx常用模块之访问限制nginx日志虚拟主机nginx的location详解常见错误和注意事项lnmp拆分出php注意事项https://blog.csdn.net/weixin_45843419/article/detai
2022-05-04 12:53:56
1409
原创 kubernetes的调度
调度器kube-scheduler 是 kubernetes 的核心组件之一，主要负责整个集群资源的调度功能，根据特定的调度算法和策略，将 Pod 调度到最优的工作节点上面去，从而更加合理、更加充分的利用集群的资源，这也是我们选择使用 kubernetes 一个非常重要的理由。如果一门新的技术不能帮助企业节约成本、提供效率，我相信是很难推进的。调度流程默认情况下，kube-scheduler 提供的默认调度器能够满足我们绝大多数的要求，我们前面和大家接触的示例也基本上用的默认的策略，都可以保证我们的
2022-05-04 00:38:02
776
原创 kubernetes网络：service，插件，策略，dns优化
文章目录网络插件FlannelUDP网络插件Flannel前面学过docker的网络模式，大致有bridge，host，containerd这些模式，但这些基本都是同个节点上的容器的通信方式，对于跨主机的容器之间的通信就无能为力了，就需要借助第三方的工具来实现容器的跨主机通信，比如flannel插件。Flannel 是 CoreOS（Etcd 的公司）推出的一个 Overlay 类型的容器网络插件，目前支持三种后端实现：UDP、VXLAN、host-gw 三种方式。UDP 是最开始支持的最简单的但是
2022-05-03 02:15:56
1635
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人