参考链接
https://blog.csdn.net/real_myth/article/details/78719244
服务器IP角色分布
Test-01 172.16.119.214 kubernetes node
Test-02 172.16.119.223 kubernetes node
Test-03 172.16.119.224 kubernetes node
Test-04 172.16.119.225 kubernetes master
Master节点必需组件
| 组件名称 | 作用 | 版本号 |
| etcd | 非关系型数据库 | v1.9.1 |
| kube-apiserver | 核心组件，所有组件均与其通信，提供Http Restful接口 | v1.9.1 |
| kube-controller-manager | 集群内部管理中心，负责各类资源管理，如RC，Pod，命名空间等 | v1.9.1 |
| kube-scheduler | 调度组件，负责node的调度 |
Node节点必需组件
| 组件名称 | 作用 | 版本号 |
| kubelet | Node节点中核心组件，负责执行Master下发的任务 | v1.9.1 |
| kube-proxy | 代理，负责kubelet与apiserver网络。相当于负载均衡，将请求转到后端pod中 |
准备工作
先设置本机hosts,编译/etc/hosts添加如下内容：
172.16.119.225 test-04
修改内核参数
cat <<EOF > /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward=1 EOF sysctl --system
关闭swap k8s1.8版本以后，要求关闭swap，否则默认配置下kubelet将无法启动。
swapoff -a #防止开机自动挂载 swap 分区 sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
开启ipvs
不是必须，只是建议，pod的负载均衡是用kube-proxy来实现的，实现方式有两种，一种是默认的iptables，一种是ipvs，ipvs比iptable的性能更好而已。
ipvs是啥？为啥要用ipvs？：https://blog.csdn.net/fanren224/article/details/86548398
后面master的高可用和集群服务的负载均衡要用到ipvs，所以加载内核的以下模块
需要开启的模块是
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack_ipv4
检查有没有开启
cut -f1 -d " " /proc/modules | grep -e ip_vs -e nf_conntrack_ipv4
没有的话，使用以下命令加载
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
ipvs还需要ipset，检查下有没有。如果没有，安装
yum install ipset -y
关闭防火墙，禁用selinux
vi /etc/selinux/config disabled systemctl disable firewalld systemctl stop firewalld
软件安装
1、Mster节点：
yum install etcd kubernetes flannel
kubeadm：用于k8s节点管理（比如初始化主节点、集群中加入子节占为、移除节点等）。
kubectl：用于管理k8s的各种资源（比如查看logs、rs、deploy、ds等）。
kubelet：k8s的服务。
配置/etc/etcd/etcd.conf
ETCD_DATA_DIR="/var/lib/etcd/master.etcd" ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://172.16.119.225:2379 " ETCD_NAME="master" ETCD_ADVERTISE_CLIENT_URLS="http://127.0.0.1:2379,http://172.16.119.225:2379"
启动etcd
systemctl restart etcd && systemctl enable etcd
检查etcd的健康指标
etcdctl -C http://172.16.119.225:2379 cluster-health
配置etcd中关于flannel的key 也就是分配给docker的网段
etcdctl mk /atomic.io/network/config '{ "Network": "10.254.0.0/16" }'
配置 /etc/sysconfig/flanneld
FLANNEL_ETCD_ENDPOINTS="http://172.16.119.225:2379" FLANNEL_ETCD_PREFIX="/atomic.io/network"
启动flannel
systemctl start flanneld && systemctl enable flanneld
配置/etc/kubernetes/apiserver
KUBE_API_ADDRESS="--insecure-bind-address=0.0.0.0" #此参数为绑定不安全地址，绑定安全地址参数是 --bind-address=172.16.119.225KUBE_ETCD_SERVERS="--etcd-servers=http://172.16.119.225:2379" KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.254.0.0/16" KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota" KUBE_API_ARGS=""
重启服务并设置开机自启动
systemctl restart kube-apiserver && systemctl enable kube-apiserver systemctl restart kube-controller-manager && systemctl enable kube-controller-manager systemctl restart kube-scheduler && systemctl enable kube-scheduler
2、node节点：
1、安装配置flannel
yum install flannel
配置flannel：/etc/sysconfig/flanneld
FLANNEL_ETCD_ENDPOINTS="http://172.16.119.225:2379" # 172.16.119.225为master地址
FLANNEL_ETCD_PREFIX="/atomic.io/network"
启动flannel
systemctl start flanneld && systemctl enable flanneld
2、安装kubernetes
yum install kubernetes
不同于master节点，slave节点上需要运行kubernetes的如下组件：
kubelet
kubernets-proxy
配置/etc/kubernetes/config
KUBE_LOGTOSTDERR="--logtostderr=true" # journal message level, 0 is debug KUBE_LOG_LEVEL="--v=0" # Should this cluster be allowed to run privileged docker containers KUBE_ALLOW_PRIV="--allow-privileged=false" # How the controller-manager, scheduler, and proxy find the apiserver KUBE_MASTER="--master=http://172.16.119.225:8080" #172.16.119.225为master地址
配置 /etc/kubernetes/kubelet
# The address for the info server to serve on (set to 0.0.0.0 or "" for all interfaces) KUBELET_ADDRESS="--address=172.16.119.225" # The port for the info server to serve on KUBELET_PORT="--port=10250" # You may leave this blank to use the actual hostname KUBELET_HOSTNAME="--hostname-override= 172.16.119.214" #node的名字，随意取 # 172.16.119.214为node地址 # location of the api-server KUBELET_API_SERVER="--api-servers=http://172.16.119.225:6442" #172.16.119.225为master地址 # pod infrastructure container KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest" # Add your own! KUBELET_ARGS=""
启动kube服务
systemctl restart kubelet && systemctl enable kubelet
systemctl restart kube-proxy && systemctl enable kube-proxy
至此，k8s集群的搭建过程就完成一半了
验证集群状态
- 1、查看端点信息：kubectl get endpoints
- 2、查看集群信息：kubectl cluster-info
- 3、获取集群中的节点状态： kubectl get nodes
认证授权设置
参考链接：https://www.cnblogs.com/lemon-le/p/9970783.html
集群搭建好后务必设置认证授权，否则等后面配置Kubernetes Api Server时会因为没有安全配置导致服务器被渗透，参考https://www.jianshu.com/p/e443b3171253
步骤如下：
1、停止原有kubernetes相关服务，包括service，deployments，pods以及运行的所有kubernetes组件
master节点上：
systemctl stop kube-apiserver systemctl stop kube-controller-manager systemctl stop kube-schedulerrm -fr /var/lib/kubelet/*rm -fr /var/lib/kube-proxy/*
node节点上：
systemctl stop kubelet systemctl stop kube-proxyrm -fr /var/lib/kubelet/*rm -fr /var/lib/kube-proxy/*
2、设置kube-apiserver的ca证书的相关文件和启动参数
openssl genrsa -out ca.key 2048 openssl req -x509 -new -nodes -key ca.key -subj "/CN=test-04" -days 5000 -out ca.crt openssl genrsa -out server.key 2048
注意：生成ca.crt时 /CN 值为master主机名
然后准备master_ssl.conf文件，该文件用于x509 v3版本证书，文件中主要设置master主机 hostname 、ip、 k8s 虚拟赋权名称和该虚拟服务的ClusterIP地址
内容如下：
[req] req_extensions = v3_req distinguished_name = req_distinguished_name [req_distinguished_name] [ v3_req ] basicConstraints = CA:FALSE keyUsage = nonRepudiation,digitalSignature,keyEncipherment subjectAltName = @alt_names [alt_names] DNS.1 = kubernetes DNS.2 = kubernetes.default DNS.3 = kubernetes.default.svc DNS.4 = kubernetes.default.svc.cluster.local DNS.5 = test-04 #服务器的hostname IP.1 = 172.16.119.225 #master ip IP.2 = 10.254.0.1 #svc的cluster ip 如果cluster网段是 10.254.0.0/16 此处就写10.254.0.1
然后基于master_ssl.conf文件创建server.csr和server.crt文件，在生成server.csr时，-subject参数中 /CN 值为master主机名
openssl req -new -key server.key -subj "/CN=test-04" -config master_ssl.conf -out server.csr openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -CAcreateserial -days 5000 -extensions v3_req -extfile master_ssl.conf -out server.crt
全部执行完毕会生成6个文件：ca.crt ca.key ca.srl server.crt server.csr server.key 将这些文件复制到一个目录下，如 /var/run/kubernetes/
/var/run/kubernetes/ 默认只有apiserver.crt 、 apiserver.key 、kubelet.crt和kubelet.key四个文件
然后在kube-apiserver文件 KUBE_API_ARGS中添加三个启动参数 --client-ca-file --tls-cert-file 和 --tls-private-key-file，分别代表CA根证书文件、服务器端证书文件和服务端私钥文件
同时可以更改KUBE_API_ADDRESS KUBE_API_PORT KUBE_API_ARGS参数关掉非安全端口8080，设置安全端口为6442，默认为6443
KUBE_API_ADDRESS="--bind-address=172.16.119.225" KUBE_API_PORT="--secure-port=0" # Comma separated list of nodes in the etcd cluster KUBE_ETCD_SERVERS="--etcd-servers=http://172.16.119.225:2379" # Address range to use for services KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.254.0.0/16" # default admission control policies KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota" # Add your own! KUBE_API_ARGS="--client-ca-file=/var/run/kubernetes/ca.crt --tls-cert-file=/var/run/kubernetes/server.crt --tls-private-key-file=/var/run/kubernetes/server.key --secure-port=6442"
最后重启kube-apiserver服务
systemctl restart kube-apiserver
3、设置kube-controller-manager的客户端证书、私钥和启动参数
openssl genrsa -out cs_client.key 2048 openssl req -new -key cs_client.key -subj "/CN=test-04" -out cs_client.csr openssl x509 -req -in cs_client.csr -CA /var/run/kubernetes/ca.crt -CAkey /var/run/kubernetes/ca.key -CAcreateserial -out cs_client.crt -days 5000
此步会生成3个文件：cs_client.key cs_client.crt cs_client.csr 把生成的证书复制到/var/run/kubernetes/ 然后创建/etc/kubernetes/kubeconfig文件，（kube-controller-manager与kube-scheduler共用），配置客户端证书等参数，内容如下：
apiVersion: v1
kind: Config
users:
- name: controllermanager
user:
client-certificate: /var/run/kubernetes/cs_client.crt
client-key: /var/run/kubernetes/cs_client.key
clusters:
- name: local
cluster:
certificate-authority: /var/run/kubernetes/ca.crt
contexts:
- context:
cluster: local
user: controllermanager
name: my-context
current-context: my-context
然后，设置kube-controller-manager服务启动参数，注意 --master的地址为https安全服务地址
更改/etc/kubernetes/controller-manager 启动参数
KUBE_CONTROLLER_MANAGER_ARGS="--master=https://172.16.119.225:6442 --service_account_private_key_file=/var/run/kubernetes/server.key --root-ca-file=/var/run/kubernetes/ca.crt --kubeconfig=/etc/kubernetes/kubeconfig"
更改/etc/kubernetes/config 里 KUBE_MASTER="--master=http://127.0.0.1:8080" 改成上面设置的安全地址 KUBE_MASTER="--master=https://172.16.119.225:6442"
重启kube-controller-manager服务
systemctl restart kube-controller-manager
4、设置kube-scheduler参数
kube-scheduler复用上一步kube-controller-manager创建的客户端证书，只需要修改/etc/kubernetes/scheduler启动参数即可
KUBE_SCHEDULER_ARGS="--master=https://172.16.119.225:6442 --kubeconfig=/etc/kubernetes/kubeconfig"
重启kube-scheduler服务
systemctl restart kube-scheduler
5、设置每台node上kubelet的客户端证书、私钥和启动参数
首先复制kube-apiserver的ca.crt和ca.key文件到node上，然后生成kubelet_client.crt证书，生成证书时-CA参数和-CAkey参数使用的是apiserver的ca.crt和ca.key文件；生成kubelet_client.csr是 -subj参数中 /CN 为本机node ip地址
openssl genrsa -out kubelet_client.key 2048 openssl req -new -key kubelet_client.key -subj "/CN=172.16.119.225" -out kubelet_client.csr openssl x509 -req -in kubelet_client.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out kubelet_client.crt -days 5000
此步会生成3个文件：kubelet_client.key kubelet_client.csr kubelet_client.crt 然后把生成的证书复制到/var/run/kubernetes/目录下
接下来创建/etc/kubernetes/kube_client_config文件（kubelet和kube-proxy共用），配置客户端证书等相关参数，内容如下：
apiVersion: v1
kind: Config
users:
- name: kubelet
user:
client-certificate: /var/run/kubernetes/kubelet_client.crt
client-key: /var/run/kubernetes/kubelet_client.key
clusters:
- name: local
cluster:
certificate-authority: /var/run/kubernetes/ca.crt
contexts:
- context:
cluster: local
user: kubelet
name: my-context
current-context: my-context
然后设置kubelet启动参数
# location of the api-server KUBELET_API_SERVER="--api-servers=https://172.16.119.225:6442" # pod infrastructure container KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest" # Add your own! KUBELET_ARGS="--kubeconfig=/etc/kubernetes/kube_client_config"
重启kubelet服务
systemctl restart kubelet
6、设置kube-proxy启动参数
kube-proxy复用上一步创建的客户端证书，只需配置启动参数即可
vim /etc/kubernetes/proxy
KUBE_PROXY_ARGS="--master=https://172.16.119.225:6442 --kubeconfig=/etc/kubernetes/kube_client_config"
重启kube-proxy服务
systemctl restart kube-proxy
7、设置kubectl客户端使用安全方式访问apiserver
在使用kubectl对kubenetes集群进行操作时，默认使用非安全端口8080对apiserver进行访问，也可以设置设置为安全访问apiserver的模式，此模式需要设置3个证书相关的参数 --certificat-authority --client-certificate 和 --client-key
分别表示用于CA授权证书、客户端证书和客户端秘钥，其中
--certificat-authority 使用为kube-apiserver生成的ca.crt文件
--client-certificate 使用为kube-controller-manager生成的cs_client.crt文件
--client-key 使用为kube-controller-manager生成的cs_client.key文件
同时指定apiserver的URL地址为HTTPS安全地址，最后输入需要执行的子命令，即可对apiserver进行安全访问了：
kubectl --server=https://172.16.119.225:6442 --certificate-authority=/var/run/kubernetes/ca.crt --client-certificate=/var/run/kubernetes/cs_client.crt --client-key=/var/run/kubernetes/cs_client.key get nodes
但每次这样忒麻烦了，所以写个alias，不知道还有没有其他方法
编辑 ~/.bashrc
vim ~/.bashrc 增加下面一局然后source ~/.bashrc 即可
alias kubectl='kubectl --server=https://172.16.119.225:6442 --certificate-authority=/var/run/kubernetes/ca.crt --client-certificate=/var/run/kubernetes/cs_client.crt --client-key=/var/run/kubernetes/cs_client.key'
DNS服务搭建
https://blog.51cto.com/ylw6006/2067923
Kubernetes集群机制通过DNS进行服务名和ip的映射,如果没有配置dns，可以通过kubectl get svc 命令查询集群ip,
但Cluster-ip是变化的,如果通过一个create命令一次批量建立一堆具有相互依赖关系的Pod或者RC,就需要配置DNS
DNS 有两种配置方式，在 1.3 之前使用 etcd + kube2sky + skydns 的方式，在 1.3 之后可以使用 kubedns + dnsmasq 的方式。
推荐使用kubedns + dnsmasq 的方式，本次也是使用此方式。
先创建目录,skydns文件都放在/etc/kubernetes/skydns 下
mkdir /etc/kubernetes/skydns
1、配置etcd中关于skyDNS的key
etcdctl mk /skydns/config '{"dns-addr":"10.254.254.254:53","ttl":3600,"domain":"cluster.local."}'
2、skynds服务由一个RC和一个Service定义组成，分别由配置文件skydns-rc.yaml和 skydns-svc.yaml定义：
skydns-rc.yaml包含2个容器的定义，需要修改如下几个参数：
--kube_master_url 为master所在的物理主机IP和端口
--domain=cluster.local 设置kubernetes集群中Service所属的域名，本例为cluster.local
apiVersion: v1 kind: ReplicationController metadata: name: kube-dns namespace: kube-system labels: k8s-app: kube-dns version: v12 kubernetes.io/cluster-service: "true" spec: replicas: 1 selector: k8s-app: kube-dns version: v12 template: metadata: labels: k8s-app: kube-dns version: v12 kubernetes.io/cluster-service: "true" spec: containers: - name: kube2sky image: docker.io/port/kubernetes-kube2sky resources: limits: cpu: 100m memory: 50Mi requests: cpu: 100m memory: 50Mi args: - --kube_master_url=https://172.16.119.225:6442 - -domain=cluster.local - -etcd-server=http://172.16.119.225:2379 - name: skydns image: docker.io/skynetservices/skydns resources: limits: cpu: 100m memory: 50Mi requests: cpu: 100m memory: 50Mi args: - -machines=http://172.16.119.225:2379 - -addr=0.0.0.0:53 - -ns-rotate=false - -domain=cluster.local. # 点 不能少 ports: - containerPort: 53 name: dns protocol: UDP - containerPort: 53 name: dns-tcp protocol: TCP dnsPolicy: Default
skydns-svc.yaml
apiVersion: v1 kind: Service metadata: name: kube-dns namespace: kube-system labels: k8s-app: kube-dns kubernetes.io/cluster-service: "true" kubernetes.io/name: "KubeDNS" spec: selector: k8s-app: kube-dns clusterIP: 10.254.254.254 ports: - name: dns port: 53 protocol: UDP - name: dns-tcp port: 53 protocol: TCP
注意，skydns需要指定一个固定的IP，之后每个node节点启动都将使用这个IP，且这个IP一定要是kube-apiserver启动参数--service-cluster-ip-range范围内的IP。
创建skydns之前需要修改每个node上kubelet的启动参数。
3、修改node启动参数
编译kubelet文件，添加俩个启动参数
--cluster-dns 上面配置的10.254.254.254
--cluster-domain 上面配置的cluster.local
KUBELET_ARGS="--kubeconfig=/etc/kubernetes/kube_client_config --cluster-dns=10.254.254.254 --cluster-domain=cluster.local"
然后重启kubelet服务
systemctl restart kubelet
4、创建skydns的RC和SVC
kubectl create -f skydns/skydns-rc.yaml
kubectl create -f skydns/skydns-svc.yaml
查看RC pod svc,确保容器启动成功，如果没有启动成功，查看原因是不是镜像地址更改了，如果镜像地址改了，可以登录http://docker.gaoxiaobang.com查看新的镜像地址
如果pod无法启动，可参考文尾解决办法
至此，在Kubernetes集群内的虚拟DNS服务已搭建完毕。
5、测试效果
部署一个test-dns的Pod进行验证
apiVersion: v1 kind: Pod metadata: name: test-dns namespace: default spec: containers: - name: test-dns image: busybox command: - sleep - "3600"
启动test-dns
容器启动成功后，通过下面命令进行测试
kubectl exec -it test-dns sh
也可以新建一个pod，然后用 kubectl exec <container_id> nslookup 验证
如果某个Service属于不同的命名空间，则进行Service查找时，需要带上namespace的名字，如：
kubectl exec test-dns -- nslookup default.kubernetes
安装Dashboard
1、下载代码
git clone https://github.com/Qihoo360/wayne/
其中 hack/kubernetes 目录下面就是我们需要部署的 Wayne 的资源清单文件
2、我们这里将所有服务都部署到 kube-system 命名空间下面，所以将这里的资源清单中的 namespace 都统一改成 kube-system
grep -rl default wayne/hack/kubernetes/wayne/ | xargs sed -i 's/default/kube-system/'
3、由于我们这里是使用上面集群中部署的 MySQL 服务，所以这里需要对 configmap.yaml 文件进行简单的配置，而 360 文档上面的 ConfigMap 是不完整的，需要使用源码里面的 app.conf 文件来进行创建，所以我们这里可以使用 --from-file 关键字来创建 ConfigMap 对象，首先配置下 wayne/src/backend/conf/app.conf 文件，根据个人需要修改，也可以不改，使用默认的配置，然后创建ConfigMap
kubectl create configmap infra-wayne --namespace kube-system --from-file=wayne/src/backend/conf/app.conf
4、然后部署另外俩个应用
kubectl create -f wayne/hack/kubernetes/wayne/deployment.yaml
kubectl create -f wayne/hack/kubernetes/wayne/service.yaml
5、创建完成后，可以查看下 Pod 的状态，如果没有错误信息，就证明部署成功了
kubectl get pods -n kube-system
如果失败可用
kubectl logs -n kube-system -f infra-wayne-312744915-xdb8b 查看错误信息
或者
kubectl describe -n kube-system pods infra-wayne-312744915-xdb8b
6、查看端口
kubectl get svc -n kube-system -l app=infra-wayne
然后使用本机IP：30771来访问 Wayne
---------------------------------------------
异常解决
1、kubectl create -f mysql.yaml 后pod无法启动，用kubectl get pod 发现该pod处于ContainerCreating状态
使用kubectl describe pod mysql-wayne-3939478235-x83pm 查看具体信息时发现报错如下：
解决办法：
各个node节点上都需要安装
yum install *rhsm*
docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latest
如果还报错则进行如下步骤
wget http://mirror.centos.org/centos/7/os/x86_64/Packages/python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm rpm2cpio python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm | cpio -iv --to-stdout ./etc/rhsm/ca/redhat-uep.pem | tee /etc/rhsm/ca/redhat-uep.pem docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latest
然后删除pod 重新创建
kubectl delete -f mysql.yaml
kubectl create -f mysql.yaml
2、pod无法删除排查
https://www.58jb.com/html/155.html
3、etcd简单操作
ls 查看
get 获取key的值
rm 删除key
更多的参考 etcdctl help
4918
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
