ceph15.2.9版本安装心得

ceph15.2.9安装对象存储文档 （背景由于 ceph-10等底版本无法支持上传大文件分片功能，无法实现断点续传功能）
1.公钥制作免密登录和时间服务器同步忽略
       ceph 包下载 https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-15.2.9/
       相关依赖 包下载  https://dl.fedoraprojece.org/pub/epel/7/x86_64/  python依赖包都有或去官网下载 

2.可以window 下载wegt.exe客户端  非自带  

命令: wget -nd -r -l1 -A.rpm  --no-parent "https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-15.2.9/el7/x86_64"  -e robots=off 下载 也可手动
3.制作ftp 服务器 做为yum 源 
  上传包到yum仓库 用createrepo ./ 创建到自定义仓库 索引

举例ip node1:10.175.70.10  node2:10.175.70.11 node3:10.175.70.12 

4 .分别再这三台机器配置yum文件 忽略 

5 yum install -y ceph-mon ceph-osd ceph-mds ceph-radosgw ceph-mgr 
  这里一般都会报错 Error：Package:2 ceph-comm .....so.1(64.bit)等

 有互联网的 可以在三台机执行也可写for 循环  yum install -y yum-utils && 
 yum-config-manager --add-repo https://dl.fedoraprojece.org/pub/epel/7/x86_64/ && yum install
 --nogpgcheck -y epel-release && rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 
 && rm -f /etc/yum.repos.d/dl.fedoraprojece.org*
 没互联网只有到https://dl.fedoraprojece.org/pub/epel/7/x86_64/下包了 
 
.如果 有部分包yum 命令由于令牌的原因无法装上 可用 
  rpm -ivh --force --nodeps lttng-ust-2.4.1-4.el7.x86_64.rpm 手动安装 
 然后再执行 yum install -y ceph-mon ceph-osd ceph-mds ceph-radosgw ceph-mgr 问题解决
 
6.选择 10.175.70.10 为控制机 yum -y install ceph-deploy 
  创建工作目录 mkdir  /ceph-cluster/   
  ceph-deploy 命令的操作都需要到 /ceph-cluster/ 工作目录进行 

7. ceph-deploy new  node1 node2 node3 创建集群配置 
    ceph-deploy mon create-initial 初始化所有节点  systemctl status ceph-mon* 查看启动状态
    如有异常可以

 用  ceph-deploy gatherkeys node1 node2 node3   ceph-deploy purge node1  node2 node3清理命令清除数据
   ceph -s 查看集群 若报错 [errno 2] RADOS object not found (error connecting to the cluster)
   可以拷贝 /ceph-cluster/ceph.client.admin.keyring到 /etc/ceph目录  
   
8. ceph-deploy disk zap node1 vdc1 初始化磁盘(这里的命令跟旧版不同，不需要:号,否则报错)  如报错 ceph-volu line 6 in .....y
                                                      ceph-volume pkg_resources.DistributionNotFound:The
                                                      six distribution ... required by ceph
    请安装相关依赖 我这里安装了两个依赖  yi
                pip3 install six-1.7.3-py2.py3-none-any.whl 
                unzip PyYAML-3.12.zip     cd PyYAML-3.12 python3 setup.py install 每个节点都要安装 
    
 /usr/sbin/ceph-volume lvm zap vdc 可用检查是否可以初始化 
 
9. ceph-deploy osd create --data /dev/vdd  node1 (和以前命令不一样) 创建OSD存储
    状态查询ceph 
10. ceph-deploy rgw create node1 node2 node3   创建对象存储服务rgw
       修改端口 vim /etc/ceph/ceph.conf    有几个节点改几台
               [client.rgw.node1]
                host = node1
                #rgw_frontends = civetweb port=8080+443s ssl_certificate=/etc/pki/tls/certs/server.pem
                rgw_frontends = "civetweb port=8000 num_threads=1000"
                #rgw_crypt_require_ssl = false
重启服务     systemctl restart ceph-radosgw@\*  查看服务 systemctl status ceph-radosgw@\* 
             测试是否可用   curl 10.175.70.10:8000 
             radosgw-admin user create --uid='rem01' --display-name='rem01'  创建用户 
            保存好一些信息
            "user": "rem01",
            "access_key": "LVN3H4KFFZY00XXDF57E",
            "secret_key": "Y2wf4CCIU4AtChxzetf4Xbn5dDsDgdJfku4YE2qN"
11.    下载解压 s3cmd-2.1.0 配置    ./s3cmd --configure  (这里报了个错，安装 yum install python-dateutil 就好 )
         创建桶目录 s3cmd mb s3://rem 
  上传文件到桶 s3cmd put /var/log/messages s3://rem/ 查看桶 s3cmd ls s3://rem  下载桶 s3cmd get s3://rem/log
            删除操作   s3cmd del s3://rem/log
创建mgr管理器(此动作最好做在修改/etc/ceph/ceph.conf之前,否则报错)
     ceph-deploy mgr node1 node2 node3 查看服务 systemctl status ceph-mgr@* 
     ceph -s 查看状态 如警告  health: HEALTH_WARN  可用 ceph health detail 排查具体报错
     我这出现报错 类似
                EALTH_WARN Module 'restful' has failed dependency: No module named 'pecan'
                [WRN] MGR_MODULE_DEPENDENCY: Module 'restful' has failed dependency: No module named 'pecan'
                Module 'restful' has failed dependency: No module named 'pecan'    
    去安装对应的Python 包就好 rpm -ivh --force --nodeps python-pecan-0.4.5-2.el7.noarch.rpm 
                              rpm -ivh --force --nodeps python3-werkzeug-1.0.1-2.el7.noarch.rpm
         pecan包可能需要重启才生效                
ceph df 可查看空间大小
 --- RAW STORAGE ---
CLASS  SIZE     AVAIL    USED     RAW USED  %RAW USED
hdd    240 GiB  237 GiB  255 MiB   3.2 GiB       1.35
TOTAL  240 GiB  237 GiB  255 MiB   3.2 GiB       1.35