ceph15.2.9安装对象存储文档 (背景由于 ceph-10等底版本无法支持上传大文件分片功能,无法实现断点续传功能)
1.公钥制作免密登录和时间服务器同步忽略
ceph 包下载 https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-15.2.9/
相关依赖 包下载 https://dl.fedoraprojece.org/pub/epel/7/x86_64/ python依赖包都有或去官网下载
2.可以window 下载wegt.exe客户端 非自带
命令: wget -nd -r -l1 -A.rpm --no-parent "https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-15.2.9/el7/x86_64" -e robots=off 下载 也可手动
3.制作ftp 服务器 做为yum 源
上传包到yum仓库 用createrepo ./ 创建到自定义仓库 索引
举例ip node1:10.175.70.10 node2:10.175.70.11 node3:10.175.70.12
4 .分别再这三台机器配置yum文件 忽略
5 yum install -y ceph-mon ceph-osd ceph-mds ceph-radosgw ceph-mgr
这里一般都会报错 Error:Package:2 ceph-comm .....so.1(64.bit)等
有互联网的 可以在三台机执行也可写for 循环 yum install -y yum-utils &&
yum-config-manager --add-repo https://dl.fedoraprojece.org/pub/epel/7/x86_64/ && yum install
--nogpgcheck -y epel-release && rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
&& rm -f /etc/yum.repos.d/dl.fedoraprojece.org*
没互联网只有到https://dl.fedoraprojece.org/pub/epel/7/x86_64/下包了
.如果 有部分包yum 命令由于令牌的原因无法装上 可用
rpm -ivh --force --nodeps lttng-ust-2.4.1-4.el7.x86_64.rpm 手动安装
然后再执行 yum install -y ceph-mon ceph-osd ceph-mds ceph-radosgw ceph-mgr 问题解决
6.选择 10.175.70.10 为控制机 yum -y install ceph-deploy
创建工作目录 mkdir /ceph-cluster/
ceph-deploy 命令的操作都需要到 /ceph-cluster/ 工作目录进行
7. ceph-deploy new node1 node2 node3 创建集群配置
ceph-deploy mon create-initial 初始化所有节点 systemctl status ceph-mon* 查看启动状态
如有异常可以
用 ceph-deploy gatherkeys node1 node2 node3 ceph-deploy purge node1 node2 node3清理命令清除数据
ceph -s 查看集群 若报错 [errno 2] RADOS object not found (error connecting to the cluster)
可以拷贝 /ceph-cluster/ceph.client.admin.keyring到 /etc/ceph目录
8. ceph-deploy disk zap node1 vdc1 初始化磁盘(这里的命令跟旧版不同,不需要:号,否则报错) 如报错 ceph-volu line 6 in .....y
ceph-volume pkg_resources.DistributionNotFound:The
six distribution ... required by ceph
请安装相关依赖 我这里安装了两个依赖 yi
pip3 install six-1.7.3-py2.py3-none-any.whl
unzip PyYAML-3.12.zip cd PyYAML-3.12 python3 setup.py install 每个节点都要安装
/usr/sbin/ceph-volume lvm zap vdc 可用检查是否可以初始化
9. ceph-deploy osd create --data /dev/vdd node1 (和以前命令不一样) 创建OSD存储
状态查询ceph
10. ceph-deploy rgw create node1 node2 node3 创建对象存储服务rgw
修改端口 vim /etc/ceph/ceph.conf 有几个节点改几台
[client.rgw.node1]
host = node1
#rgw_frontends = civetweb port=8080+443s ssl_certificate=/etc/pki/tls/certs/server.pem
rgw_frontends = "civetweb port=8000 num_threads=1000"
#rgw_crypt_require_ssl = false
重启服务 systemctl restart ceph-radosgw@\* 查看服务 systemctl status ceph-radosgw@\*
测试是否可用 curl 10.175.70.10:8000
radosgw-admin user create --uid='rem01' --display-name='rem01' 创建用户
保存好一些信息
"user": "rem01",
"access_key": "LVN3H4KFFZY00XXDF57E",
"secret_key": "Y2wf4CCIU4AtChxzetf4Xbn5dDsDgdJfku4YE2qN"
11. 下载解压 s3cmd-2.1.0 配置 ./s3cmd --configure (这里报了个错,安装 yum install python-dateutil 就好 )
创建桶目录 s3cmd mb s3://rem
上传文件到桶 s3cmd put /var/log/messages s3://rem/ 查看桶 s3cmd ls s3://rem 下载桶 s3cmd get s3://rem/log
删除操作 s3cmd del s3://rem/log
创建mgr管理器(此动作最好做在修改/etc/ceph/ceph.conf之前,否则报错)
ceph-deploy mgr node1 node2 node3 查看服务 systemctl status ceph-mgr@*
ceph -s 查看状态 如警告 health: HEALTH_WARN 可用 ceph health detail 排查具体报错
我这出现报错 类似
EALTH_WARN Module 'restful' has failed dependency: No module named 'pecan'
[WRN] MGR_MODULE_DEPENDENCY: Module 'restful' has failed dependency: No module named 'pecan'
Module 'restful' has failed dependency: No module named 'pecan'
去安装对应的Python 包就好 rpm -ivh --force --nodeps python-pecan-0.4.5-2.el7.noarch.rpm
rpm -ivh --force --nodeps python3-werkzeug-1.0.1-2.el7.noarch.rpm
pecan包可能需要重启才生效
ceph df 可查看空间大小
--- RAW STORAGE ---
CLASS SIZE AVAIL USED RAW USED %RAW USED
hdd 240 GiB 237 GiB 255 MiB 3.2 GiB 1.35
TOTAL 240 GiB 237 GiB 255 MiB 3.2 GiB 1.35