理论：
Ceph是一个开源的、统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
ceph支持的三种存储方式：
块存储 RDB: 安全、读写性强、大型或超大型企业使用，需要光纤组网成本高
对象存储 RGW：键值存储、安全、高读写、简单易管理，不适应变动大的文件、不适合数据库、系统挂载困难
文件系统存储 CephFS：成本低、适用于内部文件共享，低读写、低传输
ceph组件：
osd: 存储数据、副本数据处理、数据恢复、数据回补、平衡数据分布，并将数据相关的一些监控信息提供给mon,以便mon来检查其他OSD的心跳状态。
mon：负责监视Ceph集群，维护Ceph集群的健康状态，同时维护着Ceph集群中的各种Map图
mds: 保存的是Ceph文件系统的元数据。Ceph的块设备和Ceph对象存储都不需要mds
mgr: 负责跟踪运行时间指标和Ceph群集的当前状态，包括存储利用率，当前性能指标和系统负载。
1.环境
ceph01 192.168.8.10 admin、osd、mon、mgr
ceph02 192.168.8.20 osd、mds、mon、mgr
ceph03 192.168.8.30 osd、mds、mon、mgr
client 192.168.8.40 client
(前3台另加一块100G硬盘，不要分区)
2.ssh免密
ceph01:
cat >> /etc/hosts << EOF
192.168.8.10 ceph01
192.168.8.20 ceph02
192.168.8.30 ceph03
192.168.8.40 client
EOF
ssh-keygen
for i in ceph01 ceph02 ceph03 client;do ssh-copy-id $i;done
scp /etc/hosts ceph02:/etc
scp /etc/hosts ceph03:/etc
scp /etc/hosts client:/etc
3.所有ceph主机基础配置
yum源：
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
cat> /etc/yum.repos.d/ceph.repo << EOF
[ceph]
name=ceph
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=ceph-noarch
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/noarch/
gpgcheck=0
EOF
时间同步：
yum -y install chrony
vim /etc/chrony.conf
修改：
server ntp1.aliyun.com iburst
server ntp2.aliyun.com iburst
server ntp3.aliyun.com iburst
保存退出
systemctl restart chronyd
安装ceph-deploy
yum install -y ceph-deploy ceph ceph-radosgw snappy leveldb gdisk python-argparse gperftools-libs
4.创建集群
(1)管理节点，多个mon模式
ceph01:
cd /etc/ceph/
ceph-deploy new ceph01 ceph02 ceph03
ls /etc/ceph/
ceph.conf ceph-deploy-ceph.log ceph.mon.keyring rbdmap
# ceph.conf 为 ceph 配置文件;
ceph-deploy-ceph.log 为 ceph-deploy 日志文件;
ceph.mon.keyring 为 ceph monitor 的密钥环。
# 把 Ceph 配置文件里的默认副本数从 3 改成 2 ，这样只有两个 OSD 也可以达到 active + clean 状态。
echo "osd_pool_default_size = 2" >> ceph.conf
(2)初始化mon节点，收集所有秘钥
# 管理节点
ceph01:
ceph-deploy mon create-initial
# 查看集群状态
ceph -s
5.添加osd服务
# 使用ceph自动分区
ceph01：
ceph-deploy disk zap ceph01 /dev/sdb
ceph-deploy disk zap ceph02 /dev/sdb
ceph-deploy disk zap ceph03 /dev/sdb
# 添加osd节点
ceph01：
ceph-deploy osd create ceph01 --data /dev/sdb
ceph-deploy osd create ceph02 --data /dev/sdb
ceph-deploy osd create ceph03 --data /dev/sdb
# 查看osd节点
ceph01:
ceph-deploy osd list ceph01 ceph02 ceph03
6.添加mgr服务
ceph01:
ceph-deploy mgr create ceph01 ceph02 ceph03
7.统一集群配置
ceph01:
ceph-deploy admin ceph01 ceph02 ceph03
# 集群每一个节点授权
chmod +r /etc/ceph/ceph.client.admin.keyring
8.添加mds服务
ceph01:
ceph-deploy mds create ceph02 ceph03
#查看mds状态
ceph mds stat
#查看集群状态
ceph -s
----------------
ceph集群应用
一.文件系统运用
1.创建CephFS
# 查看文件系统
ceph01:
ceph fs ls
显示无文件系统
# CephFS 需要两个Pools: cephfs-data、cephfs-metadata, 分别存储文件数据和文件元数据
# 取值范围：osd<5 取128；osd 5-10 取512；osd 10-50取4096；osd>50 通过pgcalc计算
ceph01:
ceph osd pool create ceph_data 128
ceph osd pool create ceph_metadata 128
# 为存储池创建文件系统
ceph01:
ceph fs new cephfs ceph_metadata ceph_data
#查看文件系统和mds状态
ceph01:
ceph fs ls
ceph fs status cephfs
2.客户端挂载
(1) 普通挂载
# 客户端创建挂载点
client：
mkdir /data
# 管理节点查看客户端秘钥
ceph01:
cat /etc/ceph/ceph.client.admin.keyring
[client.admin]
key = AQC++Zxk7ie+IxAAaOUqx/ZErIEXBfHNhDqK8g==
# 客户端使用秘钥挂载
client:
mount -t ceph 192.168.8.10:6789:/ /data/ -o name=admin,secret=AQC++Zxk7ie+IxAAaOUqx/ZErIEXBfHNhDqK8g==
# 卸载
umount /data
2. 用户空间方式挂载
# 客户端安装ceph-fuse
client：
yum -y install ceph-fuse
mkdir /etc/ceph
# 管理节点复制秘钥和配置文件到客户端
ceph01:
scp ceph.client.admin.keyring ceph.conf client:/etc/ceph/
# 客户端挂载
ceph-fuse -m 192.168.8.10:6789 /data/
# 查看挂载
df -hT
二.块存储运用
1.查看内核是否支持rbd，否则升级内核
ceph01:
modprobe rbd
lsmod | grep rbd
2.创建块存储的存储池
ceph01:
ceph osd pool create rbd 64
# pg取值一般64 128 256，具体看osd数量
# 查看pg值
ceph osd pool get rbd pg_num
# 手动设置pg值
ceph osd pool set rbd pg_num 128
3.创建块存储镜像
ceph01:
rbd create --size 102400 rbd/test1
#更改镜像大小
rbd resize --size 51200 test1 --allow-shrink
# 查看rbd信息
rbd ls
rbd info test1
4.客户端映射块设备
client：
# 安装ceph命令
yum -y install ceph-common
# 内核4.0前系统需要关闭某些功能
rbd feature disable test1 object-map fast-diff deep-flatten exclusive-lock
# 映射rbd
rbd map test1
#挂载
mkdir /cephrbd
mkfs.xfs /dev/rbd0
mount /dev/rbd0 /cephrbd
# 测试写入
dd if=/dev/zero of=/cephrbd/file bs=100M count=1
# 查看rados（ceph底层系统）
rados df
5.创建快照并测试回滚
client：
rbd snap create --snap mysnap rbd/test1
# 删除文件
rm -rf /cephrbd/file
# 取消挂载
umount /dev/rbd0
# 回滚
rbd snap rollback rbd/test1@mysnap
# 重新挂载并查看文件
mount /dev/rbd0 /cephrbd/
ls /cephrbd
6. 块设备克隆（基于快照）
# 保护快照
rbd snap protect rbd/test1@mysnap
# 卸载
umount /dev/rbd0
# 基于快照克隆
rbd clone rbd/test1@mysnap rbd/test2
# 查看块存储
rbd ls
# 映射rbd
rbd map rbd/test2
# 挂载新设备
mkdir /cephrbd1
mount /dev/rbd1 /cephrbd1
ls /cephrbd1
三、ceph常用命令
1.服务相关
systemctl status ceph\*.service ceph\*.target #查看所有服务
systemctl stop ceph\*.service ceph\*.target #关闭所有服务
systemctl start ceph.target #启动服务
systemctl stop ceph-osd\*.service # 关闭所有osd服务
systemctl stop ceph-mon\*.service #关闭所有mon服务
systemctl start ceph-osd@{id} #启动单个osd服务
systemctl start ceph-mon@{hostname} #启动单个mon服务
systemctl start ceph-mds@{hostname} #启动单个mds服务
2.查看
ceph -help #查看命令帮助
ceph -s #查看状态
ceph osd pool set rbd pg_num 1024 # 修改pg_num数量
ceph osd pool set rbd pgp_num 1024 # 修改pgp_num数量
ceph osd tree #查看osd树列表
ceph osd pool ls #查看所有的osd池
ceph --admin-daemon /var/run/ceph/ceph-osd.0.asok config show # 查看指定的osd运行中的所有参数
rados df #查看储存池使用情况
rados -p rbd ls |sort
ceph osd pool get rbd pg_num
ceph osd pool get rbd pgp_num
ceph osd pool set rbd pg_num 1024
ceph osd pool set rbd pgp_num 1024
3.清除ceph配置
systemctl stop ceph\*.service ceph\*.target #停止所有进程
ceph-deploy uninstall [{ceph-node}] #卸载所有ceph程序
ceph-deploy purge {ceph-node} [{ceph-data}] #删除ceph相关的安装包
例如：ceph-deploy purge node4
ceph-deploy purgedata {ceph-node} [{ceph-data}] #删除ceph相关的配置
ceph-deploy forgetkeys #删除key
yum -y remove ceph-deploy #卸载ceph-deploy管理
7988
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
