第二章 完整版kubeadm搭建k8s运行java程序

一、服务器信息

系统都为centos7.2

192.168.90.218 k8s-master01

192.168.90.217 k8s-node01

192.168.90.216 k8s-node02

192.168.90.215 Harbor镜像仓库

二、安装配置

1.设置系统主机名以及 Host 的解析

hostnamectl  set-hostname  k8s-master01

hostnamectl  set-hostname  k8s-node01

hostnamectl  set-hostname  k8s-node02

vim /etc/hosts
192.168.90.218 k8s-master01
192.168.90.216 k8s-node02
192.168.90.217 k8s-node01

scp /etc/hosts 192.168.90.217:/etc/hosts
scp /etc/hosts 192.168.90.216:/etc/hosts

2.安装依赖包

三台都执行

yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wgetvimnet-tools git

3.设置防火墙为 Iptables 并设置空规则

三台都执行

systemctl  stop firewalld  &&  systemctl  disable firewalld 
yum -y install iptables-services  &&  systemctl  start iptables  &&  systemctl  enable iptables &&  iptables -F  &&  service iptables save

4.关闭 SELINUX

三台都执行

swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

5.调整内核参数 K8S调优

三台都执行

cat > kubernetes.conf <<EOF 
net.bridge.bridge-nf-call-iptables=1 
net.bridge.bridge-nf-call-ip6tables=1 
net.ipv4.ip_forward=1 
net.ipv4.tcp_tw_recycle=0 
vm.swappiness=0 # 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它 
vm.overcommit_memory=1 # 不检查物理内存是否够用 
vm.panic_on_oom=0 # 开启 OOM
fs.inotify.max_user_instances=8192 
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF

cp kubernetes.conf  /etc/sysctl.d/kubernetes.conf
sysctl -p /etc/sysctl.d/kubernetes.conf

6.调整系统时区

三台都执行

设置系统时区为中国/上海

timedatectl set-timezone Asia/Shanghai

将当前的 UTC 时间写入硬件时钟

timedatectl set-local-rtc 0

重启依赖于系统时间的服务

systemctl restart rsyslog 
systemctl restart crond

7.关闭系统不需要服务

三台都执行

systemctl stop postfix && systemctl disable postfix

8.设置 rsyslogd 和 systemd journald

mkdir /var/log/journal # 持久化保存日志的目录
mkdir /etc/systemd/journald.conf.d
cat > /etc/systemd/journald.conf.d/99-prophet.conf << EOF
[Journal]# 持久化保存到磁盘
Storage=persistent# 压缩历史日志
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000 # 最大占用空间 10G
SystemMaxUse=10G# 单日志文件最大 200M
SystemMaxFileSize=200M# 日志保存时间 2 周
MaxRetentionSec=2week# 不将日志转发到 syslog
ForwardToSyslog=no
EOF
systemctl restart systemd-journald

9.升级系统内核为 4.44

三台都执行
CentOS 7.x 系统自带的 3.10.x 内核存在一些 Bugs，导致运行的 Docker、Kubernetes 不稳定

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm # 安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含 initrd16 配置，如果没有，再安装一次！
yum --enablerepo=elrepo-kernel install -y kernel-lt # 设置开机从新内核启动
grub2-set-default 'CentOS Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)'
 

kube-proxy开启ipvs的前置条件

modprobe br_netfilter
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules &&
lsmod | grep -e ip_vs -e nf_conntrack_ipv4

10.安装 Docker 软件

yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo   http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum update -y && yum install -y docker-ce 

创建 /etc/docker 目录

mkdir /etc/docker

配置 daemon.

cat > /etc/docker/daemon.json <<EOF
{
	"exec-opts": ["native.cgroupdriver=systemd"],
	"log-driver": "json-file",
	"log-opts": {"max-size": "100m"  }
}
EOF
mkdir -p /etc/systemd/system/docker.service.d

重启docker服务

systemctl daemon-reload && systemctl restart docker && systemctl enable docker

三、安装 Kubeadm （主从配置）

三台都执行

cat << EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
yum -y  install  kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1
systemctl enable kubelet.service

1.初始化主节点

在master修改初始化配置文件 并完成初始化

kubeadm config print init-defaults > kubeadm-config.yaml
	localAPIEndpoint:
			advertiseAddress: 192.168.66.10
	kubernetesVersion: v1.15.1
	networking:      
		podSubnet: "10.244.0.0/16"      
		serviceSubnet: 10.96.0.0/12    
	---    
	apiVersion: kubeproxy.config.k8s.io/v1alpha1    
	kind: KubeProxyConfiguration    
	featureGates:      
		SupportIPVSProxyMode: true    
	mode: ipvs
		
kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs |tee kubeadm-init.log

2.加入主节点以及其余工作节点部署网络

执行安装日志中的加入命令即可

mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

3.部署网络

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml


wget http://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kubectl get pod -n kube-system

kubectl create -f kube-flannel.yml
kubectl get pod -n kube-system

4.node节点执行

从安装日志中复制

kubeadm join 192.168.90.218:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:352fd30ffa0ed67af1706162615e009b17e7fc90f253b8d868973f84fe2f75ad

5.docker仓库安装

三台都执行

hosts文件添加

192.168.90.215 hub.luan.com

docker配置文件添加

 "insecure-registries": ["hub.luan.com"],

重启docker服务

systemctl restart  docker

下载docker-compose

方法一：

curl -L https://github.com/docker/compose/releases/download/1.9.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose #网速太慢

方法二：

pip install docker-compose==1.24.1 -i https://pypi.tuna.tsinghua.edu.cn/simple/  

harbor下载

http://harbor.orientsoft.cn/
我这里下载1.2
传到服务器解压

tar xvf harbor-offline-installer-v1.2.0.tgz

配置harbor.cfg
必选参数
hostname：目标的主机名或者完全限定域名：目标的主机名或者完全限定
ui_url_protocol：：http或https 默认为http
db_password：用于db_auth的MySQL数据库的根密码。更改此密码进行任何生产用途数据库的根密码
max_job_workers：（默认值为：3）

创建 https 证书以及配置相关目录权限证书以及配置相关目录权限

openssl genrsa -des3 -out server.key 2048
openssl req -new -key server.key -out server.csr
cp server.key server.key.org
openssl rsa -in server.key.org -out server.key
openssl x509 -req -days 365 -in server.csr -signkey server.key -out server.crt
mkdir  /data/cert
chmod -R 777 /data/cert

运行脚本进行安装./install.sh

完成后可登录
https://192.168.90.215/

admin
Harbor12345

将jar上传到服务器

pd-backend-1.0-SNAPSHOT.jar
编写dockerfile

vim Dockerfile

FROM openjdk:8-jdk-alpine
MAINTAINER "维护者 luan"
LABEL description="pd系统"
WORKDIR app
ADD pd-backend-1.0-SNAPSHOT.jar /app/app.jar
EXPOSE 8080
CMD java -jar /app/app.jar --spring.profiles.active=dev

FROM：指定基础镜像，必须为第一个命令

MAINTAINER: 维护者信息

LABEL：用于为镜像添加元数据

ADD：将本地文件添加到容器中，tar类型文件会自动解压(网络压缩资源不会被解压)，可以访问网络资源，类似wget

COPY：功能类似ADD，但是是不会自动解压文件，也不能访问网络资源

WORKDIR：工作目录，类似于cd命令

RUN：构建镜像时执行的命令

CMD：构建容器后调用，也就是在容器启动时才进行调用。

ENTRYPOINT：配置容器，使其可执行化。配合CMD可省去"application"，只使用参数。

ENV：设置环境变量

EXPOSE：指定于外界交互的端口

VOLUME：用于指定持久化目录

ARG：用于指定传递给构建运行时的变量

USER:指定运行容器时的用户名或 UID，后续的 RUN 也会使用指定用户。使用USER指定用户时，可以使用用户名、UID或GID，或是两者的组合。当服务不需要管理员权限时，可以通过该命令指定运行用户。并且可以在之前创建所需要的用户

ONBUILD：用于设置镜像触发器

https://www.cnblogs.com/panwenbin-logs/p/8007348.html

打包镜像

docker build -t pd_java:v1 .

修改标签

docker tag pd_java:v1 hub.luan.com/library/pd_java:v1

上传到harbor仓库 #需要docker login 登录一次

docker push pd_java:v1 hub.luan.com/library/pd_java:v1

删除镜像

docker rmi -f hub.luan.com/library/pd_java:v1
docker rmi -f pd_java:v1

启动pod 设置副本

kubectl run pd-java-deployment --image=hub.luan.com/library/pd_java:v1 --replicas=3

查看

kubectl get deployment
kubectl get rs
kubectl get svc
kubectl get pod -o wide

修改端口

kubectl expose deployment pd-java-deployment --port=30000 --target-port=8080

修改网络类型 # 修改后可以通过所有节点ip来进行访问

kubectl edit svc pd-java-deployment

type: NodePort

查看svc提供出来的端口，现在已经可以通过三台k8s ip访问