ceph 与 k8s的简单结合使用笔记

最终环境与能学到什么说明：

使用kubeadm，配置阿里云的镜像源搭建单节点的k8s环境。

使用ceph-deploy搭建 1 mon 1 mgr 3 osd 环境的ceph集群。

k8s 调用 ceph 集群的 rbd，cephfs 作为存储后端。

docker harbor 使用 ceph 对象存储，保存镜像。

学习环境机器规划：

注：笔记本至少有8G内存，少于8G内存的机器运行有点吃力。

k8s单节点 ceph（admin node1 ceph-client）	192.168.8.138	CentOS 7.x 2c/6G 挂载一块硬盘（不少于20G） k8s: v1.18.6 ceph: 12.2.13 luminous (stable)
node2	192.168.8.139	CentOS 7.x 2c/700M 挂载一块硬盘（不少于20G） ceph: 12.2.13 luminous (stable)
node3	192.168.8.140	CentOS 7.x 2c/700M 挂载一块硬盘（不少于20G） ceph: 12.2.13 luminous (stable)

 

kubeadm 安装 单节点k8s篇 (操作机器138)

设置时区，主机名，时间同步，关闭防火墙，sawp，selinux。

timedatectl set-timezone 'Asia/Shanghai'
ntpdate ntp1.aliyun.com
# 这里填写你本机IP
hostnamectl set-hostname node1 && echo "192.168.8.138 node1" >> /etc/hosts
systemctl stop firewalld.service && systemctl disable firewalld.service
setenforce 0 && swapoff -a
sed -i 's/.*swap.*/#&/' /etc/fstab
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

添加yum源

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

安装docker依赖软件

yum remove docker \
           docker-client \
           docker-client-latest \
           docker-common \
           docker-latest \
           docker-latest-logrotate \
           docker-logrotate \
           docker-engine-y
yum install yum-utils device-mapper-persistent-data lvm2 -y

安装docker

### Add Docker repository.
yum-config-manager \
  --add-repo \
  https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

## Install Docker CE. 这一步需要等待很久，如有报错，请重复执行. 
yum update -y && yum install -y \
  containerd.io-1.2.13 \
  docker-ce-19.03.11 \
  docker-ce-cli-19.03.11


# Create /etc/docker directory.
mkdir /etc/docker

# Setup daemon.
cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ],
  "registry-mirrors": ["https://e6vlzg9v.mirror.aliyuncs.com"]
}
EOF

mkdir -p /etc/systemd/system/docker.service.d

# Restart Docker
systemctl daemon-reload
systemctl enable docker
systemctl restart docker

安装kubeadm

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gp