- 博客(123)
- 收藏
- 关注
RSS订阅原创 kubernetes集群实战——资源监控（Metrics-Server、Dashboard部署)
1.什么是Metrics-Server？Metrics-Server是集群核心监控数据的聚合器，用来替换之前的heapster。容器相关的 Metrics 主要来自于 kubelet 内置的 cAdvisor 服务，有了MetricsServer之后，用户就可以通过标准的 Kubernetes API 来访问到这些监控数据。Metrics API 只可以查询当前的度量数据，并不保存历史数据。Metrics API URI 为 /apis/metrics.k8s.io/，在 k8s.io/metric
2020-07-10 11:27:15
857
原创 kubernetes集群实战——资源限制（内存、CPU、NameSpace）
1.k8s容器资源限制Kubernetes采用request和limit两种限制类型来对资源进行分配。request(资源需求)：即运行Pod的节点必须满足运行Pod的最基本需求才能 运行Pod。limit(资源限额)：即运行Pod期间，可能内存使用量会增加，那最多能使用多少内存，这就是资源限额。资源类型:CPU 的单位是核心数，内存的单位是字节。一个容器申请0.5个CPU，就相当于申请1个CPU的一半，你也可以加个后缀 m 表示千分之一的概念。比如说100m的CPU，100豪的CPU和0.1个
2020-07-10 08:28:00
1673
原创 kubernetes集群实战——API访问控制（openssl认证、rbac授权和准入控制）
1.API 访问控制Authentication（认证）认证方式现共有8种，可以启用一种或多种认证方式，只要有一种认证方式通过，就不再进行其它方式的认证。通常启用X509 Client Certs和Service Accout Tokens两种认证方式。Kubernetes集群有两类用户：由Kubernetes管理的Service Accounts （服务账户）和（Users Accounts） 普通账户。k8s中账号的概念不是我们理解的账号，它并不真的存在，它只是形式上存在。Authorizat
2020-07-08 23:05:26
887
原创 kubernetes集群实战——Pod调度、亲和性与反亲和性、Node属性Taints、Pod属性Tolerations
1.调度器调度器通过 kubernetes 的 watch 机制来发现集群中新创建且尚未被调度到 Node 上的 Pod。调度器会将发现的每一个未调度的 Pod 调度到一个合适的 Node 上来运行。
2020-07-08 10:52:48
736
原创 kubernetes集群实战——Volumes配置管理(StatefulSet控制器应用)
1.StorageClass功能属性StorageClass提供了一种描述存储类（class）的方法，不同的class可能会映射到不同的服务质量等级和备份策略或其他策略等。每个 StorageClass 都包含 provisioner、parameters 和 reclaimPolicy 字段， 这些字段会在StorageClass需要动态分配 PersistentVolume 时会使用到。StorageClass的属性Provisioner（存储分配器）：用来决定使用哪个卷插件分配 PV，该字段必
2020-07-07 23:31:43
1396
原创 kubernetes集群实战——Volumes配置管理（kubernetes卷的特点和应用）
1.Volumes配置管理容器中的文件在磁盘上是临时存放的，这给容器中运行的特殊应用程序带来一些问题。首先,当容器崩溃时,kubelet 将重新启动容器,容器中的文件将会丢失，因为容器会以干净的状态重建。其次,当在一个 Pod 中同时运行多个容器时，常常需要在这些容器之间共享文件。Kubernetes 抽象出 Volume 对象来解决这两个问题。Kubernetes 卷具有明确的生命周期,与包裹它的 Pod 相同。 因此，卷比 Pod中运行的任何容器的存活期都长，在容器重新启动时数据也会得到保留。
2020-07-07 11:38:53
377
原创 kubernetes集群实战——Configmap配置管理和Secret配置管理
1.ConfigMap配置管理configmap用于保存配置数据,以键值对形式存储。configMap 资源提供了向 Pod 注入配置数据的方法。旨在让镜像和配置文件解耦,以便实现镜像的可移植性和可复用性。典型的使用场景:• 填充环境变量的值• 设置容器内的命令行参数• 填充卷的配置文件2.创建ConfigMap的方式4种方式：• 使用字面值创建• 使用文件创建• 使用目录创建• 编写configmap的yaml文件创建2.1使用字面值创建kubectl create conf
2020-07-07 00:10:54
369
原创 kubernetes集群实战——ingress服务部署、会话保持和TLS配置
1.Ingress 是什么？Ingress 公开了从集群外部到集群内 services 的 HTTP 和 HTTPS 路由。 流量路由由 Ingress 资源上定义的规则控制。一种全局的、为了代理不同后端 Service 而设置的负载均衡服务，就是 Kubernetes 里的 Ingress 服务。• Ingress由两部分组成：Ingress controller和Ingress服务。• Ingress Controller 会根据你定义的 Ingress 对象，提供对应的代理能力。业界常用的各种
2020-06-26 00:48:19
2166
原创 kubernetes集群实战——网络插件flannel和calico应用于跨主机调度通信
1. Flannel 跨主机通信解决上篇博客在访问时的跨节点流量卡顿问题承接上篇博客的公有ip172.25.12.100配置1.1 host-gw模式cp /home/kubeadm/kube-flannel.yml . ##将flannel.yml pod清单复制到当前目录下kubectl delete -f kube-flannel.yml ##删除之前应用的flannel网络插件vim kube-flannel.yml ##编辑kube-flannel.yml文件，将网络类型改为直接路由模
2020-06-25 22:39:21
922
原创 kubernetes集群实战——暴露service供外部访问的4种方法（NodePort、LoadBalancer、ExternalName和分配公有IP）
1.service介绍==Service可以看作是一组提供相同服务的Pod对外的访问接口。借助Service，应用可以方便地实现服务发现和负载均衡。 ==• service默认只支持4层负载均衡能力，没有7层功能。（可以通过Ingress实现）service的类型：• ClusterIP：默认值，k8s系统给service自动分配的虚拟IP，只能在集群内部访问。• NodePort：将Service通过指定的Node上的端口暴露给外部，访问任意一个 NodeIP:nodePort都将路由到C
2020-06-25 19:43:20
3447
1
原创 kubernetes集群实战——Pod生命周期、检测探针和控制器的运用
1. Pod生命周期Pod 可以包含多个容器，应用运行在这些容器里面，同时 Pod 也可以有一个或 多个先于应用容器启动的 Init 容器。1.1 Init 容器介绍Init 容器是一种专用的容器，在Pod 内的应用容器启动之前运行，并包括一些应用镜像中不存在的实用工具和安装脚本。你可以在Pod的规格信息中与containers数组同级的位置指定 Init 容器Init 容器与普通的容器非常像，除了如下两点：• 它们总是运行到完成。• Init 容器不支持 Readiness，因为它们必须在
2020-06-25 17:13:52
329
原创 kubernetes集群实战——pod资源清单运用
[root@server2 ~]# mkdir manifest[root@server2 ~]# cd manifest/[root@server2 manifest]# vim pod.yml[root@server2 manifest]# cat pod.yml apiVersion: v1kind: Podmetadata: name: myappspec: containers: - name: myapp image: myapp:v1[root...
2020-06-25 12:29:17
306
原创 Kubernetes集群实战——Kubernetes集群部署、故障模拟及处理、pod管理
0.Borg概述Borg是谷歌内部的大规模集群管理系统，负责对谷歌内部很多核心服务的调度和管理，Borg的目的是让用户能够不必操心资源管理问题，让他们专注于自己的核心业务，并且做到跨多个数据中心的资源利用率最大化borg主要由borgmaster1.Kubernetes简介在Docker 作为高级容器引擎快速发展的同时,在Google内部,容器技术已经应用了很多年,Borg系统运行管理着成千上万的容器应用。Kubernetes项目来源于Borg,可以说是集结了Borg设计思想的精华,并且吸收了
2020-06-20 00:11:46
860
原创 Harbor仓库的安装及应用（远程终端登录、镜像漏洞扫描和信任认证）
1.Harbor简介Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器，可以用来构建企业内部的Docker镜像仓库，可帮助用户迅速搭建企业级的Registry服务。它提供了管理图形界面，基于角色的访问控制（Role Based Access Control），镜像远程复制（同步），AD/LDAP集成、以及审计日志等企业用户需求的功能。同时还原生支持中文图形化用户界面：用户可以通过浏览器来浏览，检索当前Docker镜像仓库，管理项目和命名空间。基于角色的访问控制：用户与
2020-06-19 21:24:04
1171
原创 Jenkins持续集成与持续交付
1.Jenkins介绍Jenkins是开源CI&CD软件领导者， 提供超过1000个插件来支持构建、部署、自动化， 满足任何项目的需要。Jenkins用Java语言编写，可在Tomcat等流行的servlet容器中运行，也可独立运行。CI(Continuous integration持续集成）持续集成强调开发人员提交了新代码之后，立刻进行构建、（单元）测试。CD(Continuous Delivery持续交付) 是在持续集成的基础上，将集成后的代码部署到更贴近真实运行环境(类生产环境)中。
2020-06-15 23:58:19
525
原创 Git版本管理系统——git本地仓库搭建与gitlab私有仓库搭建
1.版本控制系统介绍 版本的概念最早在印刷行业出现，由于编辑、印刷不同而衍生出不同样式和内容，产生了不同的成品，这就是版本。 版本控制技术是一种可以记录一个或多个文件在修改过程中的变化，使得后续可以查阅文件的历史版本的技术。 当一个项目的代码量达到一定规模时，对源代码的管理难度和重要性也会随即增加。使用版本控制可以有效地管理和维护软件的项目开发，因其保存了从项目研发开始到结束的所有历史提交和修改记录。版本控制系统分为两类：集中式版本控制系统、分布式版本控制系统 集中式版本控
2020-06-15 20:58:29
1098
原创 ELK日志分析平台——kibana数据可视化（安装与配置、ELK的结合应用、xpack安全验证）
1.什么是kibana？Kibana 是一套基于Elasticsearch的web分析与可视化平台，能对Elasticsearch中的数据进行搜索、查看和分析等交互操作，也能以图表、表格和地图等形式对数据进行可视化，帮助用户更好地理解数据，尤其是大数据。Kibana 核心产品搭载了一批经典功能：柱状图、线状图、饼图、旭日图，等等。将地理数据融入任何地图精选的时序性 UI，对Elasticsearch 中的数据执行高级时间序列分析。利用 Graph 功能分析数据间的关系Kibana 开发工具为开发
2020-06-12 23:31:48
393
原创 ELK日志分析平台——logstash数据采集（本地数据收集、远程ES节点数据收集、数据收集时的优化）
1.什么是logstash？Logstash是一个开源的服务器端数据处理管道。logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（大多都是 Elasticsearch。）Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。2.logstash中的元素介绍输入：采集各种样式、大小和来源的数据Logstash 支持各种输入选择 ，同时从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、
2020-06-12 23:30:57
1342
原创 ELK日志分析平台——elasticsearch服务器架构调整（从单点到集群的设计）
1.什么是elasticsearch？Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎：一个分布式的实时文档存储，每个字段可以被索引与搜索一个分布式实时分析搜索引擎能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据基础模块cluster：管理集群状态，维护集群层面的配置信息。alloction：封装了分片分配相关的功能
2020-06-11 15:27:37
449
原创 SaltStack自动化运维——salt-ssh、salt-syndic与salt-api配置
1.salt-ssh简介salt-ssh可以独立运行的，不需要minion端。salt-ssh 用的是sshpass进行密码交互的。以串行模式工作，性能下降。在之前我们一直围绕着需要在受控端安装 Minion 的前提下进行架构扩展那么如果在实际的环境中，由于某些限制无法在受控端服务器安装 Minion 客户端，该怎么办呢？Salt 在版本 0.17.0 当中，引入了新的传输系统，它支持通过 SSH 通道来实现 Salt 的通信通过这种方式，我们可以直接通过 SSH 通道在远程主机上执行使用
2020-06-11 11:28:04
390
1
原创 SaltStack自动化运维——实现高可用、job管理（将推送数据保存在数据库中）
1.实现高可用（apache+nginx+keepalived）前面实验使用server1（saltstack的master节点）给server2（saltstack的minion节点）安装了httpd服务，给server3（saltstack的minion节点）安装了nginx服务现在使用server1给server2和server3部署高可用keepalived实验：（1）在/srv/salt目录下建立keepalived目录，进入keepalived目录，编辑推送脚本文件先实现一个推送安装k
2020-06-11 10:31:25
205
原创 SaltStack自动化运维——使用Jinja模板引用变量
1.Jinja模板简介Jinja是一种基于python的模板引擎，在SLS文件里可以直接使用jinja模板来做一些操作。通过jinja模板可以为不同服务器定义各自的变量。两种分隔符: {% … %} 和 {{ … }}，前者用于执行诸如 for 循环 或赋值的语句，后者把表达式的结果打印到模板上。2.Jinja模板使用方式（1）修改apache的推送脚本，将变量的值写入脚本中port：80（2）编辑apache/files/httpd.conf文件，写入变量（3）推送到server2安
2020-06-11 08:24:08
456
原创 SaltStack自动化运维——grains（静态数据）与pillar（动态参数）详解
1.什么是grains？Grains是SaltStack的一个组件，存放在SaltStack的minion端。当salt-minion启动时会把收集到的数据静态存放在Grains当中，只有当minion重启时才会进行数据的更新。由于grains是静态数据，因此不推荐经常去修改它。应用场景：信息查询，可用作CMDB。在target中使用，匹配minion。在state系统中使用，配置管理模块。2.什么是pillar？pillar和grains一样也是一个数据系统，但是应用场景不同。pill
2020-06-10 22:16:53
470
原创 SaltStack自动化运维——saltstack安装与配置、远程执行、配置(httpd、nginx）自动化、自定义远程执行模块
1.saltstack的简介Saltstack是基于python开发的一套C/S架构配置管理工具，SaltStack使用SSL证书签方的方式进行认证管理，而底层使用ZeroMQ消息队列pub/sub方式通信。SaltStack具备配置管理、远程执行、监控等功能。通过部署 SaltStack环境，运维人员可以在成千上万台服务器上做到批量执行命令，根据不同的业务特性进行配置集中化管理、分发文件、采集系统数据及软件包的安装与管理等。SaltStack具有以下特性，帮助企业IT更好的实现系统批量管理:部署简单
2020-06-10 00:37:23
329
原创 Docker容器——安全评估、资源控制（cpu限额、内存限制、block io限制）、安全加固
1.Docker安全评估Docker容器的安全性，很大程度上取决于Linux系统本身，因为它和宿主机共享内核，评估Docker的安全性时,主要考虑以下几个方面:1、Linux内核的命名空间机制提供的容器隔离安全2、Linux控制组机制对容器资源的控制能力安全3、Linux内核的能力机制所带来的操作权限安全4、Docker程序(特别是服务端)本身的抗攻击性5、其他安全增强机制对容器安全性的影响（1）命名空间隔离的安全当docker run启动一个容器时，Docker将在后台为容器创建一个独立的
2020-06-06 00:11:13
758
原创 Docker容器数据卷——bind mount数据卷、docker managed volume数据卷、convoy卷插件
1.什么是Dokcer容器数据卷？数据卷是一个或多个容器中专门指定的目录，它能够绕过联合文件系统卷被设计用作数据持久化、并且是独立于容器的生命周期的docker是一个分层文件系统，性能比较差，生命周期和容器是相同的，容器删除，里面的内容就没有了数据卷是mount到宿主机上的，这就绕开了分层的文件系统，和主机的磁盘性能是相同的，而且容器删除后，文件会依然保留，但这个仅限于本地磁盘，不能随容器去迁移当我们在使用docker容器的时候，会产生一系列的数据文件，这些数据文件在我们关闭docker容器时是会
2020-06-05 20:46:01
362
原创 Docker网络——原生网络介绍、自定义网络创建、实现容器间通信、容器与外网通信、跨主机网络访问
1.什么是Docker网络？ Docker早期版本中的网络基于主机桥接，但是Docker 1.0包含了一种新形式的网络，允许容器直接连接到主机以太网接口。默认情况下，一个容器有一个回路以及一个连接到默认内部桥接的接口，但是如果需要的话也可以配制成直接访问。通常，直接访问比桥接的速度更快。 然而，桥接方法在许多情况下是非常有用的。桥接是通过主机自动创建一个内部网络适配器并为其分配一个主机本身尚未使用的子网。然后，当新的容器连接到这座桥，它们的地址进行自动分配。容器启动时你可以将其连接到主机接口或端
2020-06-05 09:46:26
800
原创 Docker仓库搭建与管理（官方镜像仓库、阿里云镜像加速器、私有仓库、用户认证加密、远程连接）
1.官方镜像仓库（docker hub）仓库是用来存放镜像资源的，docker hub全世界人都可以看到，是开源的https://hub.docker.com（1）登录docker hubdocker login ##登录 dockerhub 帐号docker search busybox ##查找busybox镜像源（2）对推送的镜像打标签docker tag busybox:latest wsp333/busybox:latest（3）推送镜像docker push wsp3
2020-06-03 11:29:11
396
原创 Docker的安装部署、镜像构建与优化
1.什么是Docker？ Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。一个完整的Docker有以下几个部分组成： DockerClient客户端 Docker Daemon守护进程 Docker Image镜像 DockerContainer容器起源 Docker 是 PaaS 提供商 dotClou
2020-06-03 09:16:34
344
原创 RHEL7集群部署及资源配置（Vip、Apache、MFS、Fence、Mysql）
1.什么是集群？集群是指一组相互独立的计算机，利用高速通信网络组成的一个较大的计算机服务系统，每个集群节点都是运行各自服务的独立服务器这些服务器之间可以彼此通信，协同向用户提供应用程序，系统资源和数据，并以单一系统的模式加以管理2.什么是pacemaker?Pacemaker是一个集群资源管理器，它利用集群基础构件（OpenAIS、heartbeat或corosync）提供的消息和成员管理能力来探测并从节点或资源级别的故障中恢复，以实现群集服务（亦称资源）的最大可用性，它可以做几乎任何规模的集群，
2020-05-28 10:32:38
2165
原创 MFS分布式文件系统实战—MFS系统部署和功能实现（读写、存储类、mfs异常退出解决、数据删除后的恢复）
1.MFS分布式文件系统介绍 分布式文件系统（Moose File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。 MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源 分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的
2020-05-25 16:42:47
1009
原创 实现zabbix-proxy分布式监控
1.分布式监控介绍Zabbix是一个分布式的监控系统，这意味着一个中心点、多个分节点的模式可以正常运行。这种情况适合于跨机房、跨地域的网络监控系统。从多个节点收集数据，而每个节点下可以采集多个设备的数据，从而轻松地构建分布式监控系统。Zabbix代理（Proxy）可以用在以下环境中：监控远程区域监控拥有不可靠网络连接的区域当监控数以千计的设备时分担Zabbix-Server服务器的负载简化分布式监控的维护Proxy架构的使用环境可以用下图来表示Proxy和Server之间只需要一个TCP端
2020-05-23 23:15:59
994
原创 Zabbix管理邮件、部署onalert云告警平台
实验环境：server1（172.25.254.1）zabbix-server zabbix-agentserver2（172.25.254.2）zabbix-agentserver3（172.25.254.3）zabbix-agent用户：172.25.254.100注意：server1可以正常上网1.实现zabbix的邮件告警（1）在zabbix的web界面，开启邮件告警，禁用其它消息介质类型（2）在server1 中安装邮件服务（发送方），yum install -y mailx
2020-05-23 23:14:05
616
原创 实现zabbix+JMX监控tomcat
1.实验原理当Zabbix-Server需要知道java应用程序的某项性能的时候，会启动自身的一个Zabbix-JavaPollers进程去连接Zabbix-JavaGateway请求数据，而ZabbixJavagateway收到请求后使用“JMXmanagementAPI”去查询特定的应用程序，而前提是应用程序这端在开启时需要“-Dcom.sun.management.jmxremote”参数来开启JMX远程查询就行。Java程序会启动自身的一个简单的小程序端口12345向Zabbix-JavaGat
2020-05-23 23:13:19
651
原创 实现zabbix监控mysql服务
zabbix-server自带的mysql监控项及其触发器图形都是很少的，这在企业中是远远不够的导入mysql服务的监控模版导入前，监控项是167个，触发器69，图形32配置zabbix监控mysql进入agent目录，查看配置文件[root@server1 ~]# cd /etc/zabbix/zabbix_agentd.d/[root@server1 zabbix_agentd.d]# lsuserparameter_mysql.conf[root@server1 zabbix_age
2020-05-23 23:11:18
1211
原创 企业级分布式监控zabbix实战—Zabbix监控平台搭建及功能实现（agent被监控端添加方式、API的使用、配置nginx，http服务监控项）
1.什么是zabbix？zabbix是一个分布式监控系统，支持多种采集方式和采集客户端，有专用的Agent（代理），也可以支持SNMP、IPMI、JMX、Telnet、SSH等多种协议，他将采集到的数据存放到数据库，然后对其进行分析整理，达到条件触发告警。其灵活的扩展性和丰富的功能是其它监控所不能比的。2.zabbix的架构zabbix的通用架构是Client/Server架构，分布式架构为Client/Proxy/Server或Client/Node/Server，Zabbix-Server将采集到
2020-05-23 23:10:36
569
原创 Redis分布式集群实战——Redis主从复制、高可用、集群功能的实现
1.Redis基础介绍与安装使用1.1 什么是Redis？Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets）与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。 Redis 内置了 复制（replication），LUA脚本（Lua sc
2020-05-23 23:08:23
776
原创 实现Mysql数据库高可用（MHA）
1.MHAMHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于 Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在 0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。该软件由两部分组成：MHA Manager（管理节点
2020-05-18 10:32:48
837
原创 Mysql数据库读写分离的实现
1.读写分离的实现方式Mysql中可以实现读写分离的插件有mysql-proxy / Mycat / Amoeba ，mysql-proxy是系统自带的一个插件，此次实验主要用它来实现读写分离mysql-proxy是实现"读写分离(Read/Write Splitting)"的一个软件（MySQL官方提供 ，也叫中间件），基本的原理是让主数据库处理写操作（insert、update、delete），而从数据库处理查询操作（select）。而数据库的一致性则通过主从复制来实现MySQL-proxy 它
2020-05-16 16:45:08
8719
原创 企业级Mysql数据库复制——基于position、GTID的主从复制，半同步复制，全同步（组）复制
1.Mysql是什么？Mysql是一个关系型
2020-05-15 15:55:30
411
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人