自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 收藏
  • 关注

原创 如何使用OSS Browser上传文件至阿里云Bucket

在实验过程中可能会遇到增减配置、扩建集群的情况,各大云服务提供商提供了非常便捷的配置采购方案,使得集群管理员可以在短时间内搭建起数台新主机。在配置新机器时需要根据自身需求选用合适的镜像以达到不同的生产目的,通常各厂商提供的镜像足以满足生产需求,但某些时候仍需要使用自定义镜像来启动服务器。在近期的项目中,考虑到技术栈与实际需求,决定将DevOps核心组件部署在kubernetes外作为单独节点运行。

2023-12-05 19:35:16 470

原创 Jenkins集成K8S防踩坑(部分内容摘自GPT)

在连接k8s时,需要一个k8s service account(即sa),同时需要该服务账号具有cluster-admin权限,对该sa获取token加入Jenkins凭证,配合k8s服务证书,即可完成Jenkins集成k8s。

2023-10-27 17:24:53 364 1

原创 K8S实战笔记--7(容器损坏 + 负载均衡原理简述 + 线上Linux服务器优化经验)

在学习K8S时,系统管理人员需要了解有哪些Disruption(损坏)可能发生在Pod上。

2023-10-24 16:33:36 105

原创 K8S实战笔记--6(标签 + 字段选择器 + 容器镜像 + Hook)

标签是用来标识K8S对象的一组附加在其上的键值对,通过标签我们可以方便地筛选或排除一组对象。借鉴资料中的话来讲,集群中的应用部署或是批处理的程序部署通常都是多维度的,为了实现对这些对象的管理,往往需要对某一特定维度的对象进行操作,而标签可以通过用户的意愿组织集群中的对象之间的结构,而不需要对集群进行修改。

2023-08-07 16:36:13 187 1

原创 K8S实战笔记--5(节点控制器 + 集群通信 + 对象管理 + 名称空间)

终于在熬夜后完成了对本次学习的记录,在学习Pod驱逐策略与集群通信时,仍然存在许多悬而未解的问题,在后续的学习中,仍然会继续完善此部分的相关内容。

2023-08-02 10:25:50 147

原创 K8S实战笔记--4(部署应用 + 公布应用 + 服务伸缩与滚动更新 + 节点描述)

我们已对YAML文件的编写以及容器生命周期有了一定的了解,现将从部署应用程序开始,从编写YAML与操作Kuboard的角度来学习对Kubernetes的具体操作。

2023-07-23 17:06:57 238

原创 K8S实战笔记--3(网络通讯模式--2 + 集群资源分类 + YAML格式 + 容器生命周期)

1. ETCD负责存储Flannel中可分配的IP地址段。Flannel在启动后会向ETCD中插入可分配的网络资源,并将分配情况进行记录,防止该网段被Flannel重新分配。2. 监控ETCD中的每个Pod的实际地址,并建立维护Pod的节点路由表,用于在封装数据包时提供相应的信息。

2023-07-20 16:51:04 93

原创 K8S实战笔记--2(K8S架构 + Pod概念 + 服务发现 + 网络通讯模式--1)

在K8S之前,集群管理系统的典型案例是Google使用十年之久的容器化基础架构Borg系统,后出于商业目的,Google使用Go语言翻写了Borg,成为了如今的Kubernetes。Kubernetes具有轻量级、开源以及弹性伸缩的特点,可以在保证服务运行效率的情况下节省更多的资源,为各大互联网公司所青睐。

2023-07-14 17:49:30 214 3

原创 K8S实战笔记--1(k8s安装 + kuboard安装 + Devops迁移ECS)

Kuboard是一个K8S的多集群管理界面,在Github开源。使用Kuboard提供了多种认证方式,在Kuboard可以使用内建用户库、gitlab / github 单点登录或者 LDAP 用户库进行认证,避免管理员将 ServiceAccount 的 Token 分发给普通用户而造成的麻烦。使用内建用户库时,管理员可以配置用户的密码策略、密码过期时间等安全设置。并且,通过Kuboard可以使用图形界面进行工作负载的编辑,使用户从繁琐的YML文件中解放出来。Kuboard官网。

2023-07-08 17:02:24 354

原创 DevOps实战笔记--3(Jenkins流水线任务+K8S介绍)

当我们采用自由风格构建项目时,项目中的每个步骤都需要进行单独配置,而且构建时每一步之间没有明确的区分,若出现问题,需要单独查找控制台,定位起来较为困难。于是我们在此引入Jenkins流水线任务,此任务类型可以使项目的执行过程可视化,使问题的定位过程变得更加方便。在使用流水线任务时,我们通过Jenkinsfile对任务进行统一的配置与管理。通常,我们为方便后期维护,会选择将Jenkinsfile放在项目中。所以,通过流水线构建项目的方式往往较其他方式的操作更为灵活与简便。

2023-05-22 17:57:31 1824 2

原创 DevOps实战笔记--2(SonarQube基础操作与集成Jenkins+Jenkins集成Harbor)

在 Devops实战笔记---1 中,我们配置了两台实验机器:node1,node2,两台机器都使用docker容器技术来运行基本服务,GitLab作为体量较大的服务之一,运行内存可达4G之多,故使用node1作为GitLab专用服务器来负责代码的版本控制。node2作为CI/CD过程服务器兼SSH测试服务器,配置了JDK+Maven等服务作为项目持续集成与持续部署的基础。在此之上搭建了Jenkins,SonarQube并进行了CI/CD的实验。本文将从此处开始进行讲解。

2023-05-08 19:18:36 1183

原创 DevOps实战笔记--1(机器配置;基础服务;Docker;GitLab;JDK+Maven;Jenkins+CI+CD;SonarQube)

4. 使用Jenkins进行基础CI/CD操作基于Jenkins拉取GitLab的SpringBoot代码进行构建发布到测试环境实现CI持续集成基于Jenkins拉取GitLab指定发行版本的SpringBoot代码进行构建发布到生产环境实现CD持续部署

2023-04-21 17:52:16 299

原创 使用Weka与Excel进行简单的数据分析

例某银行家想统计信用卡积分与使用者月收入之间的关系,现有一文件bank.arff,该文件包含7个属性,分别为月收入、每月工作天数、当前信用卡额度、历史统计的按时还款比例、曾经的最大透支额、银行贷款的数目、信用卡积分。但是银行只想统计信用卡积分与月收入之间的关系,所以在构建模型时需要去除其余5个属性的影响,只留下“月收入”和“信用卡积分”这2个属性。该文件为自定义文件。使用WekaExplorer导入数据点击Openfile导入后结果如下此时为数据的整体性分析。...

2022-07-27 21:03:33 1975

原创 笔记:在调试爬虫时出现的数据库写入异常问题/解决matplotlib制图无法显示中文的问题

本项目使用scrapy生成爬虫框架。经分析可得,产生如上问题的主要原因可能为:1.数据库连接异常,未正确连接到数据库;2.数据爬取异常,没有获取到需写入的字段;3.sql语法有误;修改前的管道文件如下:经过检查代码,确定spiders无误,可通过确定的Xpath爬取到数据;接着检查init方法,确定数据库参数无误,基本可以确定问题出现在sql语句上。接着检查控制台信息:不难看出程序在执行 self.cursor.execute() 方法时抛出了异常 “Failed” ,并且经过对 commit(

2022-07-05 19:53:11 459

原创 关于使用requests.get(url)获取不到页面全部内容的记录--使用selenium有效解决

今天在尝试使用requests库进行PWA封禁信息爬取时出现了提取到的字符数组为空的情况,详细信息如下:如图所示,id = “root”对应的div中包含有我们想要获取的信息

2022-07-02 10:41:01 8677

ingress-nginx-deploy.yaml

kubernetes部署ingress-nginx,由于官方给的镜像拉取国内拉取不到,所以更换了阿里云镜像加速。直接apply即可。

2023-11-27

Hadoop安装部署实验材料

hadoop搭建及伪分布式配置

2022-11-05

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除