Ubuntu系统离线安装RKE2+Rancher2.7.5全过程记录

dxwd320

已于 2023-10-24 16:58:57 修改

阅读量3.1k

点赞数

分类专栏： Ubuntu 文章标签： ubuntu docker rancher kubernetes

于 2023-07-12 17:58:27 首次发布

本文链接：https://blog.csdn.net/u010438035/article/details/131684587

版权

Ubuntu 专栏收录该内容

11 篇文章 0 订阅

订阅专栏

安装前准备

Hostname	IP	Note
mu01	192.168.1.20	部署私有镜像库，有外网
cu01	192.168.1.21	部署rke2-server，无外网
cu02	192.168.1.22	部署rke2-server，无外网
cu03	192.168.1.23	部署rke2-server，无外网
cu04	192.168.1.24	部署kubernetes
cu05	192.168.1.25	部署kubernetes

1.1 部署私有镜像仓库

在一台能够访问docker.io和quay.io的服务器mu01上部署该私有镜像仓库。

参考如下链接，本人对比了Harbor，Nexus3和Jfrog Contianer Registry, 个人倾向于使用JCR，可以自动缓存远程镜像，且官方资料较全面：
https://blog.csdn.net/u010438035/article/details/131442003
https://blog.csdn.net/u010438035/article/details/131537945
https://blog.csdn.net/u010438035/article/details/131560407

私有镜像仓库开启匿名访问，同时配置docker.io 和 quay.io的remote repository

将私有镜像仓库服务器的证书复制到cu01-cu05所有节点

cp server.crt /usr/local/share/ca-certificates/server.crt
update-ca-certificates

1.2 在cu01-05服务器执行如下配置

apt-get -y update
apt-get -y dist-upgrade
apt-get -y install chrony ipset ipvsadm

#sudo 替换{{username}}为ubuntu系统登录用户
cat > /etc/sudoers.d/{{username}}<< EOF
# add in user AFTER the sudo and admin group
{{username}} ALL=(ALL) NOPASSWD: ALL
EOF

#hosts
cat >> /etc/hosts << EOF

192.168.1.21 cu01
192.168.1.22 cu02
192.168.1.23 cu03
192.168.1.22 cu04
192.168.1.23 cu05
EOF

#time
chronyc sources -v
timedatectl set-timezone Asia/Shanghai

#swap
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab

#kernel
cat > /etc/modules-load.d/k8s.conf <<EOF
overlay
br_netfilter
EOF

modprobe overlay
modprobe br_netfilter

cat > /etc/sysctl.d/k8s.conf  <<EOF
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF

sysctl --system

#ipvs
cat > /etc/modules-load.d/ipvs.conf << EOF
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack
EOF

modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack

cat >> /etc/modules <<EOF
ip_vs_sh
ip_vs_wrr
ip_vs_rr
ip_vs
nf_conntrack
EOF

离线安装RKE2

参考官方链接：https://docs.rke2.io/zh/install/airgap
在mu01服务器下载相关安装包和脚本

curl -OLs https://github.com/rancher/rke2/releases/download/v1.26.5%2Brke2r1/rke2-images.linux-amd64.tar.zst
curl -OLs https://github.com/rancher/rke2/releases/download/v1.26.5%2Brke2r1/rke2.linux-amd64.tar.gz
curl -OLs https://github.com/rancher/rke2/releases/download/v1.26.5%2Brke2r1/sha256sum-amd64.txt

curl -sfL https://get.rke2.io --output install.sh

在cu01-03服务器执行

mkdir /root/rke2-artifacts && cd /root/rke2-artifacts/
#scp 从mu01将前面下载的4个文件复制到上述目录
chmod +x install.sh
mkdir -p /etc/rancher/rke2

cat > /etc/rancher/rke2/registries.yaml << EOF
mirrors:
  "*":
    endpoint:
      - "https://192.168.1.20:9443"
EOF

参考《如何使用国内资源在 RKE2 上安装 Rancher HA》
https://www.cnblogs.com/rancherlabs/p/15955317.html

2.1 创建第一个 server 节点

在cu01服务器执行

cat > /etc/rancher/rke2/config.yaml <<EOF ##编辑配置文件
token: rke2-create-token ##tocken可以后面修改；
tls-san: 192.168.1.21 ##这里使用第一个节点ip；
system-default-registry: "192.168.1.20:9443" ##私有镜像库地址；
EOF

INSTALL_RKE2_ARTIFACT_PATH=/root/rke2-artifacts sh install.sh

systemctl start rke2-server && systemctl enable rke2-server

2.2 添加其他 server 节点

在cu02-03服务器执行

cat > /etc/rancher/rke2/config.yaml <<EOF
server: https://192.168.1.21:9345 ##添加首个节点的server地址；
token: "K10d3604865eb2d6abeec1ca0cf6c5463631683d750e721b8394ee63bc3c9e8d75a::server:bddd9454003b396829d27dc79dca324b" ##填写第一个server节点的token，通过在第一个节点查看/var/lib/rancher/rke2/server/token文件获得；
tls-san: 192.168.1.21 ##这里使用第一个节点ip
system-default-registry: "192.168.1.20:9443" ##私有镜像库地址；
EOF

INSTALL_RKE2_ARTIFACT_PATH=/root/rke2-artifacts sh install.sh

systemctl start rke2-server && systemctl enable rke2-server

2.3 验证集群

mkdir ~/.kube
ln -s /etc/rancher/rke2/rke2.yaml ~/.kube/config
chmod 600 ~/.kube/config
ln -s /var/lib/rancher/rke2/agent/etc/crictl.yaml /etc/crictl.yaml
ln -s /var/lib/rancher/rke2/bin/kubectl /usr/bin/kubectl
ln -s /var/lib/rancher/rke2/bin/crictl /usr/bin/crictl

kubectl get node
crictl ps
crictl images

但需要注意的是 RKE2 官方最佳实践表明，高可用集群应该由统一的 LB 入口访问，这样才是真正的高可用。

离线安装Rancher2.7.5

在mu01服务器下载相关安装包和脚本

# 先参考官方文档安装helm:https://helm.sh/docs/intro/install/
wget https://get.helm.sh/helm-v3.12.1-linux-amd64.tar.gz
tar -zxvf helm-v3.12.1-linux-amd64.tar.gz
# Find the helm binary in the unpacked directory, and move it to its desired destination 
mv linux-amd64/helm /usr/local/bin/helm

helm repo add rancher-latest https://releases.rancher.com/server-charts/latest
mkdir ~/helm
helm fetch rancher-latest/rancher

helm repo add jetstack https://charts.jetstack.io

helm repo update

helm fetch jetstack/cert-manager --version v1.12.2
curl -L -o cert-manager-crd.yaml https://github.com/cert-manager/cert-manager/releases/download/v1.12.2/cert-manager.crds.yaml

把上面在mu01下载的文件都复制到cu01，同时把mu01的/usr/local/bin/helm复制到cu01中 /usr/local/bin/helm

3.1 安装 Cert-Manager

在cu01服务器执行

kubectl create namespace cert-manager
kubectl apply -f cert-manager-crd.yaml
helm install cert-manager ./cert-manager-v1.12.2.tgz \
    --namespace cert-manager \
    --set image.repository=quay.io/jetstack/cert-manager-controller \
    --set webhook.image.repository=quay.io/jetstack/cert-manager-webhook \
    --set cainjector.image.repository=quay.io/jetstack/cert-manager-cainjector \
    --set startupapicheck.image.repository=quay.io/jetstack/cert-manager-ctl

3.2 添加 TLS 密文发布证书文件

参考链接：https://docs.rancher.cn/docs/rancher2/installation/resources/advanced/self-signed-ssl/_index/

cat > create_self-signed-cert.sh <<"EOF"
#!/bin/bash -e

help ()
{
    echo  ' ================================================================ '
    echo  ' --ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；'
    echo  ' --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；'
    echo  ' --ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（SSL_TRUSTED_DOMAIN）,多个扩展域名用逗号隔开；'
    echo  ' --ssl-size: ssl加密位数，默认2048；'
    echo  ' --ssl-cn: 国家代码(2个字母的代号),默认CN;'
    echo  ' 使用示例:'
    echo  ' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \ '
    echo  ' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
    echo  ' ================================================================'
}

case "$1" in
    -h|--help) help; exit;;
esac

if [[ $1 == '' ]];then
    help;
    exit;
fi

CMDOPTS="$*"
for OPTS in $CMDOPTS;
do
    key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
    value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
    case "$key" in
        --ssl-domain) SSL_DOMAIN=$value ;;
        --ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
        --ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
        --ssl-size) SSL_SIZE=$value ;;
        --ssl-date) SSL_DATE=$value ;;
        --ca-date) CA_DATE=$value ;;
        --ssl-cn) CN=$value ;;
    esac
done

# CA相关配置
CA_DATE=${CA_DATE:-3650}
CA_KEY=${CA_KEY:-cakey.pem}
CA_CERT=${CA_CERT:-cacerts.pem}
CA_DOMAIN=cattle-ca

# ssl相关配置
SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
SSL_DOMAIN=${SSL_DOMAIN:-'www.rancher.local'}
SSL_DATE=${SSL_DATE:-3650}
SSL_SIZE=${SSL_SIZE:-2048}

## 国家代码(2个字母的代号),默认CN;
CN=${CN:-CN}

SSL_KEY=$SSL_DOMAIN.key
SSL_CSR=$SSL_DOMAIN.csr
SSL_CERT=$SSL_DOMAIN.crt

echo -e "\033[32m ---------------------------- \033[0m"
echo -e "\033[32m       | 生成 SSL Cert |       \033[0m"
echo -e "\033[32m ---------------------------- \033[0m"

if [[ -e ./${CA_KEY} ]]; then
    echo -e "\033[32m ====> 1. 发现已存在CA私钥，备份"${CA_KEY}"为"${CA_KEY}"-bak，然后重新创建 \033[0m"
    mv ${CA_KEY} "${CA_KEY}"-bak
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
else
    echo -e "\033[32m ====> 1. 生成新的CA私钥 ${CA_KEY} \033[0m"
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
fi

if [[ -e ./${CA_CERT} ]]; then
    echo -e "\033[32m ====> 2. 发现已存在CA证书，先备份"${CA_CERT}"为"${CA_CERT}"-bak，然后重新创建 \033[0m"
    mv ${CA_CERT} "${CA_CERT}"-bak
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
else
    echo -e "\033[32m ====> 2. 生成新的CA证书 ${CA_CERT} \033[0m"
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi

echo -e "\033[32m ====> 3. 生成Openssl配置文件 ${SSL_CONFIG} \033[0m"
cat > ${SSL_CONFIG} <<EOM
[req]
req_extensions = v3_req
distinguished_name = req_distinguished_name
[req_distinguished_name]
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
extendedKeyUsage = clientAuth, serverAuth
EOM

if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} || -n ${SSL_DOMAIN} ]]; then
    cat >> ${SSL_CONFIG} <<EOM
subjectAltName = @alt_names
[alt_names]
EOM
    IFS=","
    dns=(${SSL_TRUSTED_DOMAIN})
    dns+=(${SSL_DOMAIN})
    for i in "${!dns[@]}"; do
      echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
    done

    if [[ -n ${SSL_TRUSTED_IP} ]]; then
        ip=(${SSL_TRUSTED_IP})
        for i in "${!ip[@]}"; do
          echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
        done
    fi
fi

echo -e "\033[32m ====> 4. 生成服务SSL KEY ${SSL_KEY} \033[0m"
openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}

echo -e "\033[32m ====> 5. 生成服务SSL CSR ${SSL_CSR} \033[0m"
openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}

echo -e "\033[32m ====> 6. 生成服务SSL CERT ${SSL_CERT} \033[0m"
openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} \
    -CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} \
    -days ${SSL_DATE} -extensions v3_req \
    -extfile ${SSL_CONFIG}

echo -e "\033[32m ====> 7. 证书制作完成 \033[0m"
echo
echo -e "\033[32m ====> 8. 以YAML格式输出结果 \033[0m"
echo "----------------------------------------------------------"
echo "ca_key: |"
cat $CA_KEY | sed 's/^/  /'
echo
echo "ca_cert: |"
cat $CA_CERT | sed 's/^/  /'
echo
echo "ssl_key: |"
cat $SSL_KEY | sed 's/^/  /'
echo
echo "ssl_csr: |"
cat $SSL_CSR | sed 's/^/  /'
echo
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo

echo -e "\033[32m ====> 9. 附加CA证书到Cert文件 \033[0m"
cat ${CA_CERT} >> ${SSL_CERT}
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo

echo -e "\033[32m ====> 10. 重命名服务证书 \033[0m"
echo "cp ${SSL_DOMAIN}.key tls.key"
cp ${SSL_DOMAIN}.key tls.key
echo "cp ${SSL_DOMAIN}.crt tls.crt"
cp ${SSL_DOMAIN}.crt tls.crt
EOF


chmod +x create_self-signed-cert.sh
# --ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；
# --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；
# --ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（TRUSTED_DOMAIN）,多个TRUSTED_DOMAIN用逗号隔开；
# --ssl-size: ssl加密位数，默认2048；
# --ssl-cn: 国家代码(2个字母的代号),默认CN；
使用示例:
./create_self-signed-cert.sh --ssl-domain=rancher.sslip.io --ssl-size=2048 --ssl-date=3650

kubectl -n cattle-system create secret tls tls-rancher-ingress \
  --cert=tls.crt \
  --key=tls.key

3.3 安装 Rancher

kubectl create namespace cattle-system

helm install rancher ./rancher-2.7.5.tgz --namespace cattle-system --set hostname=rancher.sslip.io --set cert-manager.version=v1.12.2 --set rancherImage=
docker.io/rancher/rancher --set systemDefaultRegistry=192.168.1.20:9443 --set useBundledSystemChart=true

kubectl -n cattle-system get pod

在生产环境中rancher.sslip.io要解析到负载均衡器对应的地址，这里仅用于测试，可以参考如下命令在cu04执行：

cat >> /etc/hosts << EOF

192.168.1.21 rancher.sslip.io
192.168.1.22 rancher.sslip.io
192.168.1.23 rancher.sslip.io
EOF

接着通过浏览器访问：https://rancher.sslip.io/
参考下图创建cluster
在这里插入图片描述
复制如图中的命令并在cu04执行

如果这里有报错：
curl failed to verify the legitimacy of the server

复制《3.2 添加 TLS 密文发布证书文件》步骤生成的cacerts.pem文件至cu04节点
修改上述命令类似：

curl --cacert cacerts.pem -fL https://rancher.sslip.io/system-agent-install.sh | sudo  sh -s - --server https://rancher.sslip.io --label 'cattle.io/os=linux' --token gj6nntc5sznndbdpdlwntj7q46t4plm9dk58mnsvxmr2z7wp62zdx2 --ca-checksum 319cea702ba19076ba8edbbda5e04efd92f1fc09e2dc930752b0c362457b3311 --etcd --controlplane --worker

执行后如果发现卡在：Waiting for cluster agent to connect

在这里插入图片描述
在cu04查看日志发现：

kubectl -n cattle-system  logs pod/cattle-cluster-agent-7d95b6b47b-jtwjt
ERROR: https://rancher.sslip.io/ping is not accessible (Could not resolve host: rancher.sslip.io)

这是因为没有配置内部DNS造成的域名无法解析，可以参考官方文档临时规避：
Agent 无法连接 Rancher server：https://docs.rancher.cn/docs/rancher2/faq/install/_index/

kubectl -n cattle-system patch  deployments cattle-cluster-agent --patch '{
    "spec": {
        "template": {
            "spec": {
                "hostAliases": [
                    {
                      "hostnames":
                      [
                        "rancher.sslip.io"
                      ],
                      "ip": "192.168.1.21"
                    }
                ]
            }
        }
    }
}'

3.4 发布一个POD进行测试

在这里插入图片描述

dxwd320

关注

0
点赞
踩
12

收藏

觉得还不错? 一键收藏
1
评论
Ubuntu系统离线安装RKE2+Rancher2.7.5全过程记录

参考链接：https://docs.rancher.cn/docs/rancher2/installation/resources/advanced/self-signed-ssl/_index/查看/var/lib/rancher/rke2/server/token文件获得token，并修改/etc/rancher/rke2/config.yaml；把上面在mu01下载的文件都复制到cu01，同时把mu01的/usr/local/bin/helm复制到cu01中 /usr/local/bin/helm。
复制链接

扫一扫