kubernetes1.9高可用集群安装（使用kubeadm工具）

最新推荐文章于 2022-03-07 20:31:09 发布
最新推荐文章于 2022-03-07 20:31:09 发布
阅读量90 收藏
点赞数
文章标签： json 运维 开发工具
原文链接：https://segmentfault.com/a/1190000013611571
版权

前面我们安装了一个简单的kubernetes集群，选用了1个master节点和三个node节点。etcd也没有安装成集群.
这次我们安装一个3个master节点+etcd集群的kubernetes集群.

节点规划

本次选用三个master节点，三个node节点来安装k8s集群。　
etcd集群安装在master节点上.
并准备一个虚拟ip来做keepalived。 　

节点IP
M010.xx.xx.xx
M110.xx.xx.xx
M210.xx.xx.xx
N010.xx.xx.xx
N110.xx.xx.xx
N210.xx.xx.xx

virtual_ipaddress： 10.xx.xx.xx

集群启动前的准备(请用root用户执行)

节点准备工作(在每台机器上执行)

包括修改主机名，关闭防火墙等操作。　　
k8s集群会识别主机名字，确保每个主机名设为不同值。　　
关闭防火墙是为了避免不必要的网络问题。　　

# ${hostname}变量请替换成规划的主机名，比如M0, N0, N1
sudo hostnamectl set-hostname ${hostname}
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i -re '/^\s*SELINUX=/s/^/#/' -e '$i\\SELINUX=disabled'  /etc/selinux/config

建立ssh的互信，方便后面传文件什么的。可以使用ssh-copy-id命令快速建立，也可以自己手动建立。这个网上教程很多，自己搜一下

安装docker(在每台机器上执行)

yum install docker -y
systemctl enable docker && systemctl start docker

修改docker的log driver为json-file,这个不影响安装，只是为了后期安装efk日志收集系统方便。
docker info可以查看当前log driver,centos7默认使用journald.
不同版本的docker可能修改方式不一样，最新官网文档是修改/etc/docker/daemon.json文件，我安装的版本是1.12.6，按如下方式修改。

vim /etc/sysconfig/docker

# 修改为如下，然后重启docker
OPTIONS='--selinux-enabled --log-driver=json-file --signature-verification=false'
systemctl restart docker

安装kubeadm, kubelet, kubectl(每台机器上执行)

  • kubeadm: 快速创建k8s集群的工具
  • kubelet: k8s的基础组件，负责对pod和container的创建和管理，与k8s集群master建立联系
  • kubectl: k8s的客户端工具，用来像集群发送命名
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF
yum install -y kubelet kubeadm kubectl

官网文档上写一些用户在RHEL/Centos7系统上安装时，由于iptables被绕过导致路由错误，需要在
sysctl的config文件中将net.bridge.bridge-nf-call-iptables设置为１.

cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

启动kubelet:

systemctl enable kubelet && systemctl start kubelet

至此，准备工作就做好了。目前每隔几秒kubelet就会重启，直到收到kubeadm的命令。　　
所以用systemctl　status kubelet看到kubelet没有启动是正常现象，可以多执行几次查看，就会发现kubelet处于不断停止和重启的状态.

安装etcd集群(在三个master节点安装)

创建etcd CA证书

  1. 安装cfssl和sfssljson

    curl -o /usr/local/bin/cfssl https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
curl -o /usr/local/bin/cfssljson   https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
chmod +x /usr/local/bin/cfssl*

  2. ssh到etcd0节点(我这里规划的是master0节点)，执行下面命令
    执行完成可以看到/etc/kubernetes/pki/etcd文件夹下生成了ca-config.json和ca-csr.json两个文件

    mkdir -p /etc/kubernetes/pki/etcd
cd /etc/kubernetes/pki/etcd

cat >ca-config.json <<EOF
{
   "signing": {
       "default": {
           "expiry": "43800h"
       },
       "profiles": {
           "server": {
               "expiry": "43800h",
               "usages": [
                   "signing",
                   "key encipherment",
                   "server auth",
                   "client auth"
               ]
           },
           "client": {
               "expiry": "43800h",
               "usages": [
                   "signing",
                   "key encipherment",
                   "client auth"
               ]
           },
           "peer": {
               "expiry": "43800h",
               "usages": [
                   "signing",
                   "key encipherment",
                   "server auth",
                   "client auth"
               ]
           }
       }
   }
}
EOF

cat >ca-csr.json <<EOF
{
   "CN": "etcd",
   "key": {
       "algo": "rsa",
       "size": 2048
   }
}
EOF

  3. 生成ca证书

    cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

生成etcd客户端证书

在etcd0节点执行以下操作,会生成两个文件client.pem， client-key.pem

cat >client.json <<EOF
{
    "CN": "client",
    "key": {
        "algo": "ecdsa",
        "size": 256
    }
}
EOF

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=client client.json | cfssljson -bare client

生成etcd的server和peer证书

  1. 设置PEER_NAME和PRIVATE_IP环境变量(在每台etcd机器上执行)

    # 注意下面ens192是你实际网卡的名字，有可能是eth1之类的。用ip addr查看。
export PEER_NAME=$(hostname)
export PRIVATE_IP=$(ip addr show ens192 | grep -Po 'inet \K[\d.]+')

  2. 将刚刚在etcd上生成的CA拷贝到另外两台etcd机器上(在两台etch peers上执行)。
    这里需要ssh信任权限，这个在上面已经让你建立好了。

    mkdir -p /etc/kubernetes/pki/etcd
cd /etc/kubernetes/pki/etcd
scp root@<etcd0-ip-address>:/etc/kubernetes/pki/etcd/ca.pem .
scp root@<etcd0-ip-address>:/etc/kubernetes/pki/etcd/ca-key.pem .
scp root@<etcd0-ip-address>:/etc/kubernetes/pki/etcd/client.pem .
scp root@<etcd0-ip-address>:/etc/kubernetes/pki/etcd/client-key.pem .
scp root@<etcd0-ip-address>:/etc/kubernetes/pki/etcd/ca-config.json .

  3. 在所有etcd机器上执行下面命令，生成peer.pem, peer-key.pem, server.pem, server-key.pem

    cfssl print-defaults csr > config.json
sed -i '0,/CN/{s/example\.net/'"$PEER_NAME"'/}' config.json
sed -i 's/www\.example\.net/'"$PRIVATE_IP"'/' config.json
sed -i 's/example\.net/'"$PEER_NAME"'/' config.json

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=server config.json | cfssljson -bare server
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=peer config.json | cfssljson -bare peer

启动etcd集群(在每台etcd机器上执行)

这里有两种方式：在虚拟机上直接运行或在k8s上运行static pods.我这里选用第一种，在虚拟机上直接运行.

  1. 安装etcd

    cd /tmp
export ETCD_VERSION=v3.1.10
curl -sSL https://github.com/coreos/etcd/releases/download/${ETCD_VERSION}/etcd-${ETCD_VERSION}-linux-amd64.tar.gz | tar -xzv --strip-components=1 -C /usr/local/bin/
rm -rf etcd-$ETCD_VERSION-linux-amd64*

  2. 生成etcd的环境文件，后面将会用到

    touch /etc/etcd.env
echo "PEER_NAME=$PEER_NAME" >> /etc/etcd.env
echo "PRIVATE_IP=$PRIVATE_IP" >> /etc/etcd.env

  3. 创建etcd服务systemd的配置文件
    注意修改下面<etcd0-ip-address>等变量为虚拟机的真实ip地址。m0, m1等为etcd的名字

    cat >/etc/systemd/system/etcd.service <<EOF
[Unit]
Description=etcd
Documentation=https://github.com/coreos/etcd
Conflicts=etcd.service
Conflicts=etcd2.service

[Service]
EnvironmentFile=/etc/etcd.env
Type=notify
Restart=always
RestartSec=5s
LimitNOFILE=40000
TimeoutStartSec=0

ExecStart=/usr/local/bin/etcd --name ${PEER_NAME} \
    --data-dir /var/lib/etcd \
    --listen-client-urls https://${PRIVATE_IP}:2379 \
    --advertise-client-urls https://${PRIVATE_IP}:2379 \
    --listen-peer-urls https://${PRIVATE_IP}:2380 \
    --initial-advertise-peer-urls https://${PRIVATE_IP}:2380 \
    --cert-file=/etc/kubernetes/pki/etcd/server.pem \
    --key-file=/etc/kubernetes/pki/etcd/server-key.pem \
    --client-cert-auth \
    --trusted-ca-file=/etc/kubernetes/pki/etcd/ca.pem \
    --peer-cert-file=/etc/kubernetes/pki/etcd/peer.pem \
    --peer-key-file=/etc/kubernetes/pki/etcd/peer-key.pem \
    --peer-client-cert-auth \
    --peer-trusted-ca-file=/etc/kubernetes/pki/etcd/ca.pem \
    --initial-cluster   m0=https://<etcd0-ip-address>:2380,m1=https://<etcd1-ip-address>:2380,m2=https://<etcd2-ip-address>:2380 \
    --initial-cluster-token my-etcd-token \
    --initial-cluster-state new

[Install]
WantedBy=multi-user.target
EOF

  4. 启动etcd集群

    systemctl daemon-reload
systemctl start etcd

设置master节点的负载均衡器(keepalived,在三台master节点上执行)

  1. 安装keepalived

    yum install keepalived -y

  2. 修改配置文件

    • state: 填写MASTER(主master节点m0)或BACKUP(其他master节点)
    • interface: 填写网卡的名字(我这里是ens192)\
    • priority: 权重，主master节点应该比其他节点高(比如m0填写101,其他节点填写100)
    • auth_pass: 任意随机字符
    • virtual_ipaddress: 应该填写为master节点准备的虚拟ip
    ! Configuration File for keepalived
global_defs {
  router_id LVS_DEVEL
}

vrrp_script check_apiserver {
  script "/etc/keepalived/check_apiserver.sh"
  interval 3
  weight -2
  fall 10
  rise 2
}

vrrp_instance VI_1 {
    state <STATE>
    interface <INTERFACE>
    virtual_router_id 51
    priority <PRIORITY>
    authentication {
        auth_type PASS
        auth_pass 4be37dc3b4c90194d1600c483e10ad1d
    }
    virtual_ipaddress {
        <VIRTUAL-IP>
    }
    track_script {
        check_apiserver
    }
}

  3. 健康检测脚本
    将下面的<VIRTUAL-IP>替换成准备的虚拟ip

    #!/bin/sh

 errorExit() {
     echo "*** $*" 1>&2
     exit 1
 }

 curl --silent --max-time 2 --insecure https://localhost:6443/ -o /dev/null || errorExit "Error GET https://localhost:6443/"
 if ip addr | grep -q <VIRTUAL-IP>; then
     curl --silent --max-time 2 --insecure https://<VIRTUAL-IP>:6443/ -o /dev/null || errorExit "Error GET https://<VIRTUAL-IP>:6443/"
 fi

  4. 启动keepalived

    systemctl start keepalived

启动k8s集群

启动master0节点

  1. 生成配置文件：

    • <private-ip>: 为master节点的IP地址
    • <etcd0-ip>, <etcd1-ip>, <etcd2-ip> : etcd集群的ip地址
    • <podCIDR>：POD CIDR，k8s的pod的网络模式。我这里选择flannel，即配置 为10.244.0.0/16。详细信息查看CNI network section
    • 为了安装flannel,需要在每台机器上执行sysctl net.bridge.bridge-nf-call-iptables=1 
    cat >config.yaml <<EOF
apiVersion: kubeadm.k8s.io/v1alpha1
kind: MasterConfiguration
api:
  advertiseAddress: <private-ip>
etcd:
  endpoints:
  - https://<etcd0-ip-address>:2379
  - https://<etcd1-ip-address>:2379
  - https://<etcd2-ip-address>:2379
  caFile: /etc/kubernetes/pki/etcd/ca.pem
  certFile: /etc/kubernetes/pki/etcd/client.pem
  keyFile: /etc/kubernetes/pki/etcd/client-key.pem
networking:
  podSubnet: <podCIDR>
apiServerCertSANs:
- <load-balancer-ip>
apiServerExtraArgs:
  apiserver-count: "3"
EOF

  2. 运行kubeadm

    kubeadm init --config=config.yaml

启动master1, master2节点

  1. 将刚刚master0生成的文件copy到master1和master2机器

    scp root@<master0-ip-address>:/etc/kubernetes/pki/ca.crt /etc/kubernetes/pki
scp root@<master0-ip-address>:/etc/kubernetes/pki/ca.key /etc/kubernetes/pki
scp root@<master0-ip-address>:/etc/kubernetes/pki/sa.key /etc/kubernetes/pki
scp root@<master0-ip-address>:/etc/kubernetes/pki/sa.pub /etc/kubernetes/pki
scp root@<master0-ip-address>:/etc/kubernetes/pki/front-proxy-ca.crt /etc/kubernetes/pki
scp root@<master0-ip-address>:/etc/kubernetes/pki/front-proxy-ca.key /etc/kubernetes/pki
scp -r root@<master0-ip-address>:/etc/kubernetes/pki/etcd /etc/kubernetes/pki
  2. 重复master0的操作，生成config.yaml，运行kubeadm.

安装CNI网络

这里跟上面<podCIDR>那里设置的要对应起来。我这里选用的是Flannel,执行下面命令。
官网详解Installing a pod network

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/v0.9.1/Documentation/kube-flannel.yml

加入node节点

在每台node机器上执行以下格式的命令，在master节点执行完kubeadm init后会生成下面命令，复制执行就好。
这里统一将node加入到master0管理中。

kubeadm join --token <token> <master-ip>:<master-port> --discovery-token-ca-cert-hash sha256:<hash>

完了可以使用kubectl get nodes查看集群是否安装完成。

kubernetes 官方文档

weixin_34122604
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kubernetes1.9生产环境高可用实践--001-ETCD高可用集群部署
wenwst的专栏
04-08 2744
感谢大家的支持，是我写这篇文章的动力。 因为参照生产环境的部署，因此整个整部过程相对繁琐 生产环境使用Kubernetes差不多快3年，在期间确实遇到许多的坑，但生产环境没有出发生过事故。 网上大部分教程都是针对于单个服务的部署，并没有将所有的应用结合起来。很多伙伴在测试环境或在本机上试验，不敢实际使用。这篇文章将我在生产环境近三年的工作中使用到的组件全部列...
kubeadm安装k8s 1.9
zhangoic的博客
04-21 835
安装条件：2台虚机，centos 7.2，一台作为控制节点，一台为计算节点，能访问外网。1. 准备工作，所有节点都执行（1）关闭selinux# vim /etc/sysconfig/selinux# service firewalld stop# systemctl disable firewalld# reboot（2）配置yum源# vim /etc/yum.repos.d/kubernet...
kubernetes1.9版本集群配置向导
mnasd的博客
03-24 833
说明使用kubeadm创建kubernetes环境是单个节点，需要对kube-api做高可用，这里使用keepalived对3个master节点kubernetes api做高可用，etcd也部署到3台master节点。网络使用CoreDNS+kube-router主机         IP      k8smaster01  192.168.0.230k8smaster02  192.168.0...
Kubernetes集群部署史上最详细（一）Kubernetes集群安装
weixin_30421809的博客
04-09 299
适用部署结构以及版本 本系列中涉及的部署方式和脚本适用于1.13.x和1.14，而且采取的是二进制程序部署方式。 脚本支持的部署模式 最小部署模式 3台主机，1台为k8s的master角色，其余2台为k8s的node角色，etcd以集群形式运行在3台上都部署（我在测试环境中使用的部署规模） 中等部署模式 6台主机，3台为k8s的master角色，其余3台为k8s的node角色，etcd以集...
centos7安装kubernetes1.9集群
weixin_34379433的博客
02-10 177
　节点规划 本次选用一个master节点，三个node节点来安装k8s集群。　　 节点 IP M0 10.xx.xx.xx N0 10.xx.xx.xx N1 10.xx.xx.xx N2 10.xx.xx.xx 集群启动前的准备(请用root用户执行) 节点准备工作(在每台机器上执行) 包括修改主机名，关闭...
Kubernetes1.9 二进制版集群安装
02-08
Kubernetes1.9 二进制版集群+ipvs+coredns 本版本用kube-router组件取代kube-proxy,用lvs做svc负载均衡，更快稳定。 用coredns取代kube-dns，更稳定。 经过测试1.9版，消除了以往的 kubelet docker 狂报错误日志的...
Kubernetes 1.9 中文指南
06-05
Kubernetes 是谷歌开源的容器集群管理系统，是 Google 多年大规模容器管理技术 Borg 的开源版本，也是 CNCF 最重要的项目之一。 Kubernetes 发展非常迅速，已经成为容器编排领域的领导者。Kubernetes的中文资料也...
Kubernetes1.9全栈化企业应用实践教程
06-09
Kubernetes1.9全栈化企业应用实践视频培训教程：本课程围绕Kubernetes关键知识点、Kubernetes部署、配置。围绕着企业应用运维项目实战，帮助学员全面了解kubernetes，带领学员熟练将kubernetes与企业应用架构环境相...
Centos7 二进制安装Kubernetes 1.9 详细教程-附件资源
03-02
Centos7 二进制安装Kubernetes 1.9 详细教程-附件资源
kubernetes 1.9.0集群完整安装部署
weixin_30670965的博客
05-18 253
一、环境准备 1、准备三台虚拟机，具体信息如下，配置好root账户，安装好docker,安装方法参见https://www.cnblogs.com/liangyuntao-ts/p/10657009.html 系统类型 IP地址 节点角色 CPU Memory 　　　 Hostname centos7 192.168.10...
kubernetes 安装备注
Fred's Note
08-25 333
一、安装环境 　　阿里云：centos 7.3 　　master节点：外网IP（116.62.205.90）、内网IP（172.16.223.200） 　　node节点：外网IP（116.62.212.174）、内网IP（172.16.223.201）   二、Master节点安装步骤 1、在master节点上安装etcd 备注：etcd是用于共享配置和服务发现的分布式，一致性的KV...
shell脚本中一些特殊符号
weixin_34235105的博客
10-20 1253
在shell中常用的特殊符号罗列如下： # ;   ;; . , / \\ 'string'| !   $   ${}   $? $$   $* \"string\"* **   ? : ^ $#   $@ `command`{}   [] [[]] ()   (()) ||   &amp;&amp; {xx,yy,zz,...}~   ~+   ~-   &amp;   \\&lt;...\\&...
Kubernetes（k8s）高可用简介与安装
MKC__jiaoq的博客
03-07 7501
一、简介 Kubernetes是Google 2014年创建管理的，是Google 10多年大规模容器管理技术Borg的开源版本。它是容器集群管理系统，是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制 Kubernetes一个核心的特点就是能够自主的管理容器来保证云平台中的容器按照用户的期望状态运行着（比如用户想让apache一直运行，用户不需要关心
最简单的 kubernetes 高可用安装方式
云原生实验室
08-26 1214
sealos 项目地址：https://github.com/fanux/sealos 本文教你如何用一条命令构建 k8s 高可用集群且不依赖 haproxy 和 keepalived，也无需 ansible。通过内核 ipvs 对 apiserver 进行负载均衡，并且带 apiserver 健康检测。架构如下图所示： 本项目名叫 sealos，旨在做一个简单干净轻量级稳定的 kubern...
使用ansible一键安装kubernetes1.83高可用集群
weixin_34044273的博客
08-13 132
ansible-kubernetes1.8.3使用ansible一键安装kubernetes高可用集群git clone https://github.com/bravem/ansible-k8s.git准备五台CentOS，7.3版本，最小化安装，设置好IP下载二进制文件，移动到项目里对应的roles/x/files目录里。文章最后有目录列表。百度云 密码：ef8u编辑ho...
Kubernetes安装之证书验证
Kubernetes中文社区
05-08 5550
前言 昨晚（Apr 9,2017）金山软件的opsnull发布了一个开源项目和我一步步部署kubernetes集群，下文是结合我之前部署kubernetes的过程打造的kubernetes环境和opsnull的文章创建 kubernetes 各组件 TLS 加密通信的证书和秘钥的实践。之前安装过程中一直使用的是非加密方式，一直到后来使用Fluentd和ElasticSearch收集Kub
使用kubeadm重新初始化kubernetes集群V1.10.0
热门推荐
lansye的专栏
04-18 1万+
不说了反正各种原因会让你的集群失败，尤其在高可用模式下机器特别多比较烦。失败以后各种坑，想重装总不能让我重装操作系统吧。cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core) uname -srLinux 4.4.127-1.el7.elrepo.x86_64kubeadm version: &amp;version.Info{Ma...
使用 kubeadm 安装部署 kubernetes 1.9
小小郭
01-06 1万+
kubeadm是官方提供的安装方案,比纯手工安装方便。 零 准备 在安装前需做些设置让系统环境一致，确保后面顺利安装。 0.0 硬件情况 系统：centos 7 用户： root 机器规划： 角色 数量 配置 物理ip hostname master 1 4核 16G 172.16.93.220 k8s nod

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值