2020年07月_dsd2333

原创 Kubernetes进阶篇 —— 高可用集群

k8s高可用集群集群拓扑 Loadbalancer部署安装 keepalived haproxy yum install -y keepalived haproxy 配置haproxy vim /etc/haproxy/haproxy.cfg keepalived配置 vim /etc/keepalived/keepalived.conf ### 1 ! Configuration File for keepalived 2 3 global_defs { 4 not

2020-07-29 15:20:18 237

原创 Kubernetes监控篇 —— 资源监控

资源限制 Kubernetes采用request和limit两种限制类型来对资源进行分配： request(资源需求)：即运行Pod的节点必须满足运行Pod的最基本需求才能运行Pod limit(资源限额)：即运行Pod期间，可能内存使用量会增加，那最多能使用多少内存，这就是资源限额资源类型： CPU 的单位是核心数，内存的单位是字节一个容器申请0.5个CPU，就相当于申请1个CPU的一半，你也可以加个后缀m 表示千分之一的概念。比如说100m的CPU，100豪的CPU和0.1个CPU都是一样的

2020-07-29 15:20:10 1348

原创 Hadoop大数据平台实战 —— 三个节点（1个master+2个slave）实现全分布式操作

Hadoop Hadoop简介 Hadoop 起源于 Google 的三大论文： GFS：Google 的分布式文件系统 Google File System MapReduce：Google 的 MapReduce 开源分布式并行计算框架 BigTable：一个大型的分布式数据库上述三大论文的演变关系： GFS —— -> HDFS Google MapReduce —— -> Hadoop MapReduce BigTable —— -> HBase Hadoop 名称的由来

2020-07-29 15:19:08 1561

原创 Hadoop大数据平台实战 —— Hadoop单机操作和伪分布式操作

Hadoop下载与安装由于 Hadoop 底层是用 Java 编写，因此还需要安装 JDK 下载 Hadoop 和 JDK 的源码包新建普通用户，将源码包移动到普通用户下，并切换到普通用户 useradd dsd mv jdk-8u181-linux-x64.tar.gz hadoop-3.2.1.tar.gz /home/dsd/ su - dsd 解压 JDK 源码包并做软链接 tar zxf jdk-8u181-linux-x64.tar.gz ln -s jdk1.8.0_181/ jdk

2020-07-29 15:18:50 251

原创 Hadoop大数据平台实战 —— 基础概念

Hadoop 起源于 Google 的三大论文： GFS：Google 的分布式文件系统 Google File System MapReduce：Google 的 MapReduce 开源分布式并行计算框架 BigTable：一个大型的分布式数据库上述三大论文的演变关系： GFS —— -> HDFS Google MapReduce —— -> Hadoop MapReduce BigTable —— -> HBase Hadoop 名称的由来： Hadoop 之父 Doug

2020-07-29 15:18:39 513

原创 Zabbix 监控 —— 邮件管理 + 第三方告警平台

实验环境：主机名称 IP地址 zabbix 192.168.0.10 zabbix2 192.168.0.11 zabbix3 192.168.0.12 user 192.168.0.100 zabbix主机可以正常上网\color{red}{zabbix 主机可以正常上网}zabbix主机可以正常上网 Zabbix 邮件告警邮件的设置使用邮件告警在 zabbix 主机中安装邮件（发送方）\color{red}{（发送方）}（发送方） yum install

2020-07-29 15:03:43 354

原创 Zabbix 监控 —— 结合 percona 插件实现数据库 mysql 的监控

实验环境：配置 zabbix 监控 mysql 确认 mysql 状态为正常开启 mysqladmin -uzabbix -predhat -h 127.0.0.1 ping | grep -c alive 在 zabbix-agent 主目录（默认情况下为/ var / lib / zabbix）中创建 .my.cnf mkdir /var/lib/zabbix # 建立目录存放配置文件 vim /var/lib/zabbix/.my.cnf

2020-07-28 18:19:10 182

原创 Zabbix 监控 —— 配置、API、对 Nginx 的监控

Zabbix 的介绍 Zabbix 是一个企业级分布式开源监控解决方案。 Zabbix 软件能够监控众多网络参数和服务器的健康度、完整性。Zabbix 使用灵活的告警机制。这样用户可以快速响应服务器问题。Zabbix 基于存储的数据提供出色的报表和数据可视化功能。 Zabbix 支持主动轮询（polling）和被动捕获（trapping）。Zabbix 所有的报表、统计数据和配置参数都可以通过基于 Web 的前端页面进行访问。基于 Web 的前端页面确保可以在任何地方访问监控的网络状态和服务器健康状况。 Z

2020-07-28 13:22:47 757

原创敏捷开发部署方案 —— 蓝绿部署、滚动发布和灰度发布

蓝绿部署蓝绿部署。指的是同时运行两个版本的应用，在进行蓝绿部署的时候，并不停止掉老版本，而是直接部署一套新版本，等新版本运行起来后，再将流量切换到新把本上。但是蓝绿部署要求在升级过程中同时运行两套程序，对硬件的要求就是日常所需的两倍。滚动发布滚动发布能够解决掉蓝绿部署时对硬件要求增倍的问题\color{#FF0000}{滚动发布能够解决掉蓝绿部署时对硬件要求增倍的问题}滚动发布能够解决掉蓝绿部署时对硬件要求增倍的问题滚动升级。在升级过程中，并不一下子启动所有新版本，是先启动一台新版本，再停止一台

2020-07-23 18:58:20 931

原创 Kubernetes进阶篇 —— 访问控制

Kubernetes访问控制 kubernetes API 访问控制 Authentication(认证) 认证方式现共有8种，可以启用一种或多种认证方式，只要有一种认证方式通过,就不再进行其它方式的认证。通常启用 X509 Client Certs 和 Service Accout Tokens 两种认证方式 Kubernetes集群有两类用户：由Kubernetes管理的Service Accounts (服务账户)和(Users Accounts) 普通账户。k8s中账号的概念不是我们理解的账号

2020-07-13 14:16:03 297

原创 Kubernetes进阶篇 —— 调度

Kubernetes调度默认策略：https://kubernetes.io/zh/docs/concepts/scheduling/kube-scheduler/ 调度框架：https://kubernetes.io/zh/docs/concepts/configuration/scheduling-framework/ 调度器通过 kubernetes 的 watch 机制来发现集群中新创建且尚未被调度到 Node 上的 Pod 。调度器会将发现的每一个未调度的 Pod 调度到一个合适的 Node 上

2020-07-13 13:57:08 432

原创 Kubernetes存储篇 —— Volumes

Volumes配置管理容器中的文件在磁盘上是临时存放的，这给容器中运行的特殊应用程序带来一些隐患。首先,当容器崩溃时，kubelet 将重新启动容器，容器中的文件将会丢失，这是因为容器会以干净的状态重建。其次，当在一个 Pod 中同时运行多个容器时，常常需要在这些容器之间共享文件。 Kubernetes 抽象出 Volume 对象来解决这两个问题 Kubernetes 卷具有明确的生命周期，与包裹它的 Pod 相同。因此，卷比 Pod 中运行的任何容器的存活期都长，在容器重新启动时数据也会得到保留。

2020-07-13 12:37:05 1315

原创 kubernetes存储篇 —— Configmap

1. ConfigMap配置管理 1.1 ConfigMap作用及使用场景 ConfigMap用于保存配置数据,以键值对形式存储 ConfigMap 资源提供了向 Pod 注入配置数据的方法旨在让镜像和配置文件解耦,以便实现镜像的可移植性和可复用性典型的使用场景填充环境变量的值设置容器内的命令行参数填充卷的配置文件 1.2 ConfigMap的创建创建方式使用字面值创建使用文件创建使用目录创建编写configmap的yaml文件创建字面值创建 kubectl create co

2020-07-06 19:31:53 282

原创 kubernetes存储篇 —— Secret

1. Secret 1.1 Secret配置管理 Secret 对象类型用来保存敏感信息,例如密码、OAuth 令牌和 ssh key 敏感信息放在 secret 中比放在 Pod 的定义或者容器镜像中来说更加安全和灵活 Pod 可以用两种方式使用 secret：作为 volume 中的文件被挂载到 pod 中的一个或者多个容器里当 kubelet 为 pod 拉取镜像时使用 secret的类型： Service Account:Kubernetes 自动创建包含访问 API 凭据的 secret,并

2020-07-06 19:11:29 250

原创 kubernetes基础篇 —— Service

1. Service Service可以看作是一组提供相同服务的Pod对外的访问接口。借助Service,应用可以方便地实现服务发现和负载均衡 service默认只支持4层负载均衡能力,没有7层功能。(可以通过Ingress实现) service的类型： ClusterIP:默认值,k8s系统给service自动分配的虚拟IP,只能在集群内部访问 NodePort:将Service通过指定的Node上的端口暴露给外部,访问任意一个 NodeIP:nodePort都将路由到ClusterIP L

2020-07-06 18:56:38 296

原创 kubernetes基础篇 —— 控制器

官方网站：https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/ 关闭节点的selinux和iptables防火墙所有节点部署docker引擎

2020-07-03 15:55:40 196

原创 kubernetes基础篇 —— 检测探针

检测探针探针是由 kubelet 对容器执行的定期诊断： ExecAction: 在容器内执行指定命令。如果命令退出时返回码为 0 则认为诊断成功 TCPSocketAction: 对指定端口上的容器的 IP 地址进行 TCP 检查。如果端口打开,则诊断被认为是成功的 HTTPGetAction: 对指定的端口和路径上的容器的 IP 地址执行 HTTP Get请求。如果响应的状态码大于等于200 且小于 400,则诊断被认为是成功的每次探测都将获得以下三种结果之一: 成功:容器通过了诊断失败:容

2020-07-03 15:04:37 853

原创 kubernetes基础篇 —— Pod生命周期

Pod生命周期 Pod 可以包含多个容器,应用运行在这些容器里面,同时 Pod 也可以有一个或多个先于应用容器启动的 Init 容器 Init 容器与普通的容器非常像,区别是: Init 容器总是运行到完成 Init 容器不支持 Readiness,因为它们必须在 Pod 就绪之前运行完成每个 Init 容器必须运行成功,下一个才能够运行如果 Pod 的 Init 容器失败,Kubernetes 会不断地重启该 Pod,直到 Init 容器成功为止。然而,如果 Pod 对应的 restartPol

2020-07-03 15:03:45 178

原创 kubernetes基础篇 —— 资源清单

1. 资源清单 1.1 资源清单格式 kubectl explain pod ##查询帮助文档 1.2自主式Pod资源清单 vim demo.yaml kubectl create -f demo.yaml 1.3 标签 kubectl get pod --show-labels ##查看标签 kubectl get pod -l app ##过滤包含app的标签 kubectl get pod -L app kubectl label pod demo v

2020-07-03 15:02:47 3149

原创 kubernetes基础篇 ——Pod管理

官方网站：https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/ Pod管理 Pod 是可以创建和管理 Kubernetes 计算的最小可部署单元，一个 Pod 代表着集群中运行的一个进程，每个 pod 都有一个唯一的 IP 一个 pod 类似一个豌豆荚，包含一个或多个容器（通常是docker），多个容器间共享 IPC、Network 和 UTC namespace kubectl

2020-07-03 15:01:26 498

原创 kubernetes基础篇 —— 集群部署

官方网站：https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/ 1. 集群部署 1.1 环境主机 IP k8s1 192.168.1.20 k8s2 192.168.1.21 k8s3 192.168.1.22 k8s4 192.168.1.23 关闭节点的selinux和iptables防火墙所有节点部署docker引擎将k8s2作为mas

2020-07-03 14:59:35 441

dsd的博客