ceph（三）部署一个最小的ceph集群

分布式存储ceph部署篇
1、 安装完操作系统

镜像：
centos7.6
镜像下载地址：
链接：https://pan.baidu.com/s/1IuJ5mL5H_4M8U-TlGaxkg 提取码：56c7

2、 配置完硬件
如果用的是真机部署线上环境
•硬件配置请参考egon老师的附件：《附件1： DELL服务器配置》
• ceph安装配置介绍与优化见：《附件2： ceph安装配置介绍与主机优化》

如果用的是虚拟机实验来测试，本机至少16G

admin节点:	1.5G内存2块网卡
mon01:	1.5G内存2块网卡
mon02:	1.5G内存2块网卡
mon03:	1.5G内存2块网卡
osd01 2G内存3块网卡 3块机械盘3块固态盘
osd02 2G内存3块网卡 3块机械盘3块固态盘
osd03 2G内存3块网卡 3块机械盘3块固态盘

虚拟机实验环境请注意：
•1、除了osd节点外，其他节点的硬盘盘不要挂太多，否则cpu占用过多导致虚拟机启动不了，因为都是虚拟出来的
•2、虚拟磁盘空间为20G即可
•3、把虚拟机无关的硬件都删掉，比如usb、声卡、打印机等

3、网络规划

注意：
•若是生产环境，上述ip必须设置成固定ip
•注意关闭 NetworkManager

systemctl stop NetworkManager 
systemctl disable NetworkManager

4、每台机器均关闭selinux与防火墙

sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/sysconfig/selinux 
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config 
setenforce 0
systemctl stop firewalld.service 
systemctl disable firewalld.service

librados2 ceph-mon ceph-common ceph-mgr ceph-base librbd1 ceph-osd

5、每台主机规范主机名

[root@admin ~]# cat rewriteip.sh 
#!/bin/bash
hostnamectl set-hostname $1
sed -i "s#3#$2#g" /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i "s#3#$2#g" /etc/sysconfig/network-scripts/ifcfg-eth1
systemctl restart network

6、 每台主机均开启yum缓存

sed -ri '2c cachedir=/soft' /etc/yum.conf
sed -ri '3c keepcache=1' /etc/yum.conf 
mkdir /soft

注意注意注意：yum clean all会将缓存文件夹内缓存的rpm包都清理掉，需要特别注意的是
•1、如果你打算采集rpm包，然后制作成自己的yum源，安装过程中不要手贱执行yum clean all
•2、ceph-deploy在安装时会执行yum clean all命令，然后再按照，所以请在ceph-deploy install 前将一些缓存的包备份好
Ps：关闭yum自动更新：

默认不会安装yum-con,我们也无需关闭yum自动更新
但如果你自己安装了： yum install yum-cron -y,则会默认开启yum更新，请记得关闭
# cat s/etc/yum/yum-cron.conf update_messages = no download_updates = no

7、 每台机器升级操作系统并安装依赖包

如果采用的不是官网源，而是自定义的yum源，那么下述命令中就不需要执行yum install epel-release -y安装epel源了，切记
yum install epel-release -y && yum update -y && yum upgrade -y && reboot
升级后需要重启计算机才能加载新内核，注意，一定要重启计算机
#升级前
系统：CentOS Linux release 7.6.1810 (Core) 内核：3・10・ 0-957・el7・x86_64
# reboot重启后
系统：CentOS Linux release 7.9.2009 (Core)
内核：3.10.0-1160.2 4.1.el7.x86_64 # 升级后

8、每台机器均安装常用软件

yum -y install python-setuptools python-pip gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2- devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel zip unzip ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5-devel libidn libidn-devel openssl openssh openssl-devel nss_ldap openldap openldap-devel openldap-clients openldap-servers libxslt-devel libevent-devel ntp libtool-ltdl bison libtool vim-enhanced python wget lsof iptraf strace lrzsz kernel-devel kernel-headers pam-devel tcl tk cmake ncurses-devel bison setuptool popt-devel net-snmp screen perl-devel pcre-devel net-snmp screen tcpdump rsync sysstat man iptables sudo libconfig git bind-utils tmux elinks numactl iftop bwm-ng net-tools expect

9、每台机器均配置ceph源
如果用的是自己的yum源，则无需下述操作

wget https://download.ceph.com/rpm-luminous/el7/noarch/ceph-release-1-1.el7.noarch.rpm
rpm -ivh ceph-release-1-1.el7.noarch.rpm
#等我们自己制作自己的yum源后就不需要安装这个包来产生官方源了，但保留着该rpm包吧，如果某天 想找官网的包它就可以派上用场了
mv ceph-release-1-1.el7.noarch.rpm /soft

了解（可能会出bug）

#官方源地址
https://download.ceph.com/
#找到对应版本即可，例如luminous https://download.ceph.com/rpm-luminous/el7/x86_64/
所以我们如果没有安装ceph-release-1-1.el7.noarch.rpm，也可以以自己配置源
[ceph