CentOS 7 部署 Ceph 分布式存储架构

最新推荐文章于 2024-04-25 15:07:19 发布
最新推荐文章于 2024-04-25 15:07:19 发布
阅读量10w+ 收藏 9
点赞数
分类专栏： 学习笔记 文章标签： LInux CentOS CEPH 分布存储 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gaofei0428/article/details/118650015
版权

Ceph 概述


          随着 OpenStack 日渐成为开源云计算的标准软件栈，Ceph 也已经成为 OpenStack 的首选后端存储。

Ceph 是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。


        ceph 官方文档 http://docs.ceph.org.cn/
        ceph 中文开源社区 http://ceph.org.cn/


        Ceph 是一个开源的分布式文件系统。因为它还支持块存储、对象存储，所以很自然的被用做云计算框架 openstack 或 cloudstack 整个存储后端。当然也可以单独作为存储，例如部署一套集群作为对象存储、SAN 存储、NAS 存储等。

Ceph 相比其它分布式存储有哪些优点？

  • 统一存储
  • 虽然 ceph 底层是一个分布式文件系统，但由于在上层开发了支持对象和块的接口。所以在开源存储软件中，能够一统江湖。至于能不能千秋万代，就不知了。
  • 高扩展性
  • 扩容方便、容量大。能够管理上千台服务器、EB 级的容量。
  • 可靠性强
  • 支持多份强一致性副本，EC。副本能够垮主机、机架、机房、数据中心存放。所以安全可靠。存储节点可以自动管理、自动修复。无单点故障，容错性强。
  • 高性能
  • 因为是多个副本，因此在读写操作时候能够做到高度并行化。理论上，节点越多，整个集群的 IOPS和吞吐量越高。另外一点 ceph 客户端读写数据直接与存储设备(osd) 交互。

 Ceph 各组件介绍

  • Ceph OSDs: Ceph OSD 守护进程（Ceph OSD）的功能是存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其他 OSD 守护进程的心跳来向 Ceph Monitors 提供一些监控信息。当 Ceph 存储集群设定为有 2 个副本时，至少需要 2 个 OSD 守护进程，集群才能达到 active+clean 状态（ Ceph 默认有 3 个副本，但你可以调整副本数）。
  • Monitors: Ceph Monitor 维护着展示集群状态的各种图表，包括监视器图、OSD 图、归置组（ PG ）图、和 CRUSH 图。 Ceph 保存着发生在 Monitors 、 OSD 和 PG 上的每一次状态变更的历史信息（称为 epoch ）。
  • MDSs: Ceph 元数据服务器（MDS）为 Ceph 文件系统存储元数据（也就是说，Ceph 块设备和Ceph 对象存储不使用 MDS ）。元数据服务器使得 POSIX 文件系统的用户们，可以在不对 Ceph 存储集群造成负担的前提下，执行诸如 ls、find 等基本命令。
  • ceph 集群部署实验      主机准备 （禁用 selinux, 关闭防火墙）
  • 系统统一使用 CentOS 7.6
  • mon      192.168.2.16       # admin,osd, mon 作为管理和监控节点
  • ceph1   192.168.2.13       osd,mds
  • ceph2   192.168.2.14       osd,mds
  • client     192.168.2.15      ceph-fuse
  • 192.168.2.16  作管理. osd. mon 节点
  • 2.13 和 2.14   作 osd mds
  • 2.15                作客户端
  • 2.16 、2.13、 2.14三台服务器各增加一块硬盘  /dev/sdb , 创建目录并挂载到   /var/local/osd{0,1,2}

  •  不重启添加硬盘 

  • 依次格式化、挂载到对应的目录

  • mkfs.xfs /dev/sdb
    mkdir /var/local/osd{0,1,2}
    mount /dev/sdb /var/local/osd0/

  • 2.13

  • 2.14

  •  编辑 hosts 文件（所有节点需要操作）：

规范系统主机名添加 hosts 文件实现集群主机名与主机名之间相互能够解析，host 文件添加主机名不要使用 fqdn 方式

  • 可用 hostnamectl set-hostname [name] 设置
    分别打开各节点的/etc/hosts 文件，加入这四个节点 ip 与名称的对应关系
    vim /etc/hosts

  • SSH 免密码登录（所有节点需要操作）

在管理节点使用 ssh-keygen 生成 ssh keys 发布到各节点

  •  同步时间

使得 4 台主机时间必须保持一致，使用阿里云的 NTP 服务，把  4 台主机时间保持一致（主机需要可以访问互联网）

yum -y install ntp

ntpdate ntp1.aliyun.com && hwclock -w

  •  扩展阿里云 NTP 可用的服务：

ntp1.aliyun.com
ntp2.aliyun.com
ntp3.aliyun.com
ntp4.aliyun.com
ntp5.aliyun.com
ntp6.aliyun.com
ntp7.aliyun.com

  • 管理节点  192.168.2.16  安装 ceph-deploy 工具
    第一步：增加 yum 配置文件（各节点都要配置 ceph 源）     

  • vim /etc/yum.repos.d/ceph.repo

    [Ceph]
    name=Ceph packages for $basearch
    baseurl=http://download.ceph.com/rpm-jewel/el7/$basearch
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=https://download.ceph.com/keys/release.asc
    priority=1

    [Ceph-noarch]
    name=Ceph noarch packages
    baseurl=http://download.ceph.com/rpm-jewel/el7/noarch
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=https://download.ceph.com/keys/release.asc
    priority=1

    [ceph-source]
    name=Ceph source packages
    baseurl=http://download.ceph.com/rpm-jewel/el7/SRPMS
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=https://download.ceph.com/keys/release.asc
    priority=1

  • yum clean all
  • yum makecache
  • yum repolist all

  • 第二步：更新软件源并安装 ceph-deploy 管理工具
  • yum -y install ceph-deploy

  • 创建 monitor 服务
  • mkdir /etc/ceph && cd /etc/ceph
  • ceph-deploy new [主机名] ... .... ....

  • Ceph 配置文件(ceph.conf )、一个 monitor 密钥环( ceph.mon.keyring )和一个日志文件(ceph-deploy-ceph.log)
  • 修改副本数
    vim ceph.conf     
  • #配置文件的默认副本数从 3 改成 2，这样只有两个 osd 也能达到 active+clean 状态
    ceph.conf 
    [global]
    fsid = cf74f445-0b02-49ab-b966-ce6c745d4c3f
    mon_initial_members = mon
    mon_host = 192.168.2.16
    auth_cluster_required = cephx
    auth_service_required = cephx
    auth_client_required = cephx

    osd_pool_default_size = 2
    mon clock drift allowed = 0.500
    mon clock drift warn backoff = 10
    mon_max_pg_per_osd = 1000

  • 安装 ceph，在所有节点上安装：

  • ceph-deploy install [主机名]
  • ceph-deploy install ceph1
  • ceph-deploy install ceph2
  • ceph-deploy install c7_2_15
  • (如果网络源安装失败，手工安装  yum -y install ceph-release 再 yum -y install ceph ceph-radosgw)

  • 安装 ceph monitor

  • ceph-deploy mon create mon

  • 收集节点的 keyring 文件

  • ceph-deploy gatherkeys mon

  •  部署 osd 服务

添加 osd 节点 (所有 osd 节点执行)
实验准备时已经创建目录/var/local/osd{id}
 

  • 创建 osd
  • chown -R ceph. /var/local/      在每个节点都要执行
  • 然后在 deploy  2.16 端
  • ceph-deploy osd prepare mon:/var/local/osd0
  • ceph-deploy osd prepare ceph1:/var/local/osd1
  • ceph-deploy osd prepare ceph2:/var/local/osd2

  • 激活 osd 

  • chown -R ceph. /var/local/      在每个节点都要执行
    ceph-deploy osd activate mon:/var/local/osd0

  • ceph-deploy osd activate ceph1:/var/local/osd1

  • ceph-deploy osd activate ceph2:/var/local/osd2

  • 查看状态：
    ceph-deploy osd list mon ceph1 ceph2

  •  统一配置

用 ceph-deploy 把配置文件和 admin 密钥拷贝到所有节点，这样每次执行 Ceph 命令行时就无需指定 monitor 地址和 ceph.client.admin.keyring 了

  • ceph-deploy admin mon ceph1 ceph2 c7_2_15

  • 各节点修改 ceph.client.admin.keyring 权限：

  • chmod +r /etc/ceph/ceph.client.admin.keyring

  • 查看 osd 状态

  • ceph health #或 ceph -s

  • 状态必须为 active，如果为 createing，检查上面的配置和防火墙

  • fsmap e11: 1/1/1 up {0=ceph2=up:active}, 1 up:standby 

  • 部署 mds 服务
    ceph-deploy mds create ceph1 ceph2       #部署 2台 MDS 
    ceph mds stat
    e11: 1/1/1 up {0=ceph2=up:active}, 1 up:standby         #查看状态    1 up :standby     

  • 创建 ceph 文件系统       
  • 查看 文件系统 ceph fs ls  
  • 创建存储池
    ceph osd pool create cephfs_data 128
    ceph osd pool create cephfs_metadata 128     

  • 其中： 128 
  • 关于创建存储池
  • 确定 pg_num 取值是强制性的，因为不能自动计算。下面是几个常用的值：
  • *少于 5 个 OSD 时可把 pg_num 设置为 128
  • *OSD 数量在 5 到 10 个时，可把 pg_num 设置为 512
  • *OSD 数量在 10 到 50 个时，可把 pg_num 设置为 4096
  • *OSD 数量大于 50 时，你得理解权衡方法、以及如何自己计算 pg_num 取值
  • *自己计算 pg_num 取值时可借助 pgcalc 工具
  • 随着 OSD 数量的增加，正确的 pg_num 取值变得更加重要，因为它显著地影响着集群的行为、以及出错时的数据持久性（即灾难性事件导致数据丢失的概率）。

  • 创建文件系统，创建好存储池后，可以用 ceph fs new 命令创建文件系统了

  • ceph fs new 128 cephfs_metadata cephfs_data 

  • 其中：<fs_name> = cephfs 可自定义
  • ceph fs ls              #查看创建后的 cephfs
    ceph mds stat       #查看 mds 节点状态

  •  不同挂载方式

内核驱动挂载 Ceph 文件系统

  • 存储密钥（如果没有在管理节点使用 ceph-deploy 拷贝 ceph 配置文件）

  • 在 192.168.2.15 上

  • cat /etc/ceph/ceph.client.admin.keyring
    [client.admin]
        key = AQDC/OpgYUvtNxAAJvYjkhykTHYWIROhlYuq0Q==

  • 将 key 对应的值复制下来保存到文件：/etc/ceph/admin.secret 中。
    cat /etc/ceph/admin.secret 
    AQDC/OpgYUvtNxAAJvYjkhykTHYWIROhlYuq0Q==

  • 在client 端挂载使用

  • yum -y install ceph ceph-radosgw

mount -t ceph mon:6789:/ /opt/ceph/ -o name=admin,secretfile=/etc/ceph/admin.secret

mount -t ceph 192.168.2.16:6789:/ /opt/ceph/ -o name=admin,secretfile=/etc/ceph/admin.secret

  • 用户控件挂载 Ceph 文件系统

  • 安装 ceph-fuse

  • yum install -y ceph-fuse

  • ceph-fuse -m 192.168.2.16:6789 /opt/ceph/

  • 写入文件测试

  • 取消挂载后重新挂载，看刚才创建的文件是否能正常显示、读取
  • fusermount -zu /opt/ceph

  • 重新挂载，读取文件

  • 如果报错则前面统一配置时未将配置文件以及密钥文件拷贝至客户端节点 

  • 如果出现  “nonempty ” 该提示表示需要使用 -o nonempty 进行挂载

  • 原因是 /opt 目录不空

  • 清理机器上的 ceph 相关配置：
  • 停止所有进程： stop ceph-all
  • 卸载所有 ceph 程序：ceph-deploy uninstall [{ceph-node}]
  • 删除 ceph 相关的安装包：ceph-deploy purge {ceph-node} [{ceph-data}]
  • 删除 ceph 相关的配置：ceph-deploy purgedata {ceph-node} [{ceph-data}]
  • 删除 key：ceph-deploy forgetkeys
  • 卸载 ceph-deploy 管理：
  • yum -y remove ceph-deploy

  • Ceph 配置 dashboard Web 监控界面
    安装 mgr-dashboard 插件（ceph 节点都要安装）

  • cat /etc/yum.repos.d/ceph.repo
    [ceph]
    name=ceph
    baseurl=http://download.ceph.com/rpm-nautilus/el7/x86_64/
    gpgcheck=0
    priority=1
    enable=1
    [ceph-noarch]
    name=Ceph noarch packages
    baseurl=http://download.ceph.com/rpm-nautilus/el7/noarch/
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=https://download.ceph.com/keys/release.asc
    [ceph-source]
    name=Ceph source packages
    baseurl=http://download.ceph.com/rpm-nautilus/el7/SRPMS/
    gpgcheck=0
    priority=2
    enable=1
  • yum install -y ceph-mgr-dashboard
    启用 dashboard 插件
    ceph mgr module enable dashboard
  • 创建自签名证书
    ceph dashboard create-self-signed-cert
  • echo 123456 > p.txt
  • ceph dashboard set-login-credentials gf -i p.txt
  • ceph mgr services

  • 测试 拷贝一些文件

 

  • ceph -s 出现 mon is allowing insecure global_id reclaim  或  mons are allowing insecure global_id reclaim
    或 web 界面上，出现警告：mon is allowing insecure global_id reclaim
    解决办法：禁用不安全模式！
    如果使用过程中，执行了一次没有效果的话，需先将其设置为 true，然后再次设置为 false
    ceph config set mon auth_allow_insecure_global_id_reclaim true
    ceph config set mon auth_allow_insecure_global_id_reclaim false

  • 升级内核

  • rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org &&yum install https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm -y &&yum --enablerepo=elrepo-kernel install kernel-ml -y

    grub2-set-default 0 && rpm -qa | grep kernel

    yum -y remove kernel-3.10.0-957.el7 kernel-tools-3.10.0-957.el7 kernel-tools-libs-3.10.0-957.el7

  • 同步时间

    ntpdate ntp1.aliyun.com && hwclock -w

    安装 ceph-deploy 管理工具

    yum install python-setuptools ceph-deploy -y

    mkdir /etc/ceph && cd /etc/ceph

    ceph-deploy new mon1 ceph1 ceph2

    vim /etc/ceph/ceph.conf

    osd_pool_default_size = 2
    mon clock drift allowed = 0.500
    mon clock drift warn backoff = 10
    mon_max_pg_per_osd = 1000

  • 安装ceph 

    yum -y install ceph ceph-radosgw

  • 创建 mon

ceph-deploy mon create-initial

ceph-deploy admin mon1 ceph1 ceph2 ceph_fuse

ceph-deploy osd create --data /dev/sdb mon1

ceph-deploy osd create --data /dev/sdb ceph1

ceph-deploy osd create --data /dev/sdb ceph2

ceph-deploy osd list mon1 ceph1 ceph2

  • 创建 mds

ceph-deploy mds create mon1 ceph1 ceph2

查看 ceph 当前文件系统

ceph fs ls

  • 创建存储池

ceph osd pool create cephfs_data 128

ceph osd pool create cephfs_metadata 128

  • 创建文件系统

ceph fs new gftest cephfs_metadata cephfs_data

ceph mds stat                       #查看 mds 节点状态

ceph-deploy mgr create mon1 ceph1 ceph2

  • 查看集群状态

ceph -s

error:mon is allowing insecure global_id reclaim

  • 禁用不安全模式

ceph config set mon auth_allow_insecure_global_id_reclaim true

ceph config set mon auth_allow_insecure_global_id_reclaim false

  • 挂载

cat /etc/ceph/ceph.client.admin.keyring

vim /etc/ceph/admin.secret

mount -t ceph 192.168.2.13:6789:/ /opt/ceph -o name=admin,secretfile=/etc/ceph/admin.secret

umount /opt/ceph

ceph-fuse -m 192.168.2.13:6789 /opt/ceph

  • 如果想清理机器上的 ceph 相关配置：

停止所有进程： stop ceph-all

卸载所有 ceph 程序：ceph-deploy uninstall [{ceph-node}]

删除 ceph 相关的安装包：ceph-deploy purge {ceph-node} [{ceph-data}]

删除 ceph 相关的配置：ceph-deploy purgedata {ceph-node} [{ceph-data}]

删除 key：ceph-deploy forgetkeys

卸载 ceph-deploy 管理：

yum -y remove ceph-deploy

Ceph 配置 dashboard Web 监控界面

yum install -y ceph-mgr-dashboard

启用 dashboard 插件

ceph mgr module enable dashboard

创建自签名证书

ceph dashboard create-self-signed-cert

echo 123456 > p.txt

ceph dashboard set-login-credentials gf -i p.txt

  • 创建多 monitors

  • 192.168.2.3    ceph1  admin monitors osd
  • 192.168.2.4    ceph1  osd  mds monitors
  • 192.168.2.5    ceph1  osd  mds monitors
  • 192.168.2.6    ceph1  osd  mds 

  •  vim /etc/yum.repos.d/ceph.repo
    [Ceph]
    name=Ceph packages for $basearch
    baseurl=http://download.ceph.com/rpm-jewel/el7/$basearch
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=https://download.ceph.com/keys/release.asc
    priority=1

    [Ceph-noarch]
    name=Ceph noarch packages
    baseurl=http://download.ceph.com/rpm-jewel/el7/noarch
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=https://download.ceph.com/keys/release.asc
    priority=1

    [Ceph-source]
    name=Ceph source packages
    baseurl=http://download.ceph.com/rpm-jewel/el7/SRPMS
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=https://download.ceph.com/keys/release.asc
    priority=1

    [ceph]
    name=ceph
    baseurl=http://download.ceph.com/rpm-nautilus/el7/x86_64/
    gpgcheck=0
    priority=1
    enable=1
    [ceph-noarch]
    name=Ceph noarch packages
    baseurl=http://download.ceph.com/rpm-nautilus/el7/noarch/
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=https://download.ceph.com/keys/release.asc
    [ceph-source]
    name=Ceph source packages
    baseurl=http://download.ceph.com/rpm-nautilus/el7/SRPMS/
    gpgcheck=0
    priority=2
    enable=1

  • yum install python-setuptools ceph-deploy -y
  • mkdir /etc/ceph && cd /etc/ceph
  • ceph-deploy new ceph1 ceph2 ceph3

  • vim /etc/ceph/ceph.conf

    osd_pool_default_size = 2
    mon clock drift allowed = 0.500
    mon clock drift warn backoff = 10
    mon_max_pg_per_osd = 1000

  • 安装 ceph
  • ceph-deploy install ceph1 ceph2 ceph3 ceph4
  • 创建 3 个 monitors 
  • ceph-deploy mon create ceph1 ceph2 ceph3
  • 收集 key
  • ceph-deploy gatherkeys ceph1
  • 创建 osd
  • ceph-deploy osd create --zap-disk ceph1:/dev/sdc
  • ceph-deploy osd create --zap-disk ceph2:/dev/sdc
  • ceph-deploy osd create --zap-disk ceph3:/dev/sdc
  • ceph-deploy osd create --zap-disk ceph4:/dev/sdc
  • 创建 mds

  • ceph-deploy mds create ceph2 ceph3 ceph4

  • 创建存储池

  • ceph osd pool create cephfs_data 128
    ceph osd pool create cephfs_metadata 128

  • 创建文件系统

  • ceph fs new gftest cephfs_metadata cephfs_data

    ceph mds stat                       #查看 mds 节点状态

  • ceph -s
  • 挂载
  • cat /etc/yum.repos.d/ceph.repo 

    [Ceph]
    name=Ceph packages for $basearch
    baseurl=http://download.ceph.com/rpm-jewel/el7/$basearch
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=https://download.ceph.com/keys/release.asc
    priority=1

    [Ceph-noarch]
    name=Ceph noarch packages
    baseurl=http://download.ceph.com/rpm-jewel/el7/noarch
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=https://download.ceph.com/keys/release.asc
    priority=1

    [Ceph-source]
    name=Ceph source packages
    baseurl=http://download.ceph.com/rpm-jewel/el7/SRPMS
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=https://download.ceph.com/keys/release.asc
    priority=1

    [ceph]
    name=ceph
    baseurl=http://download.ceph.com/rpm-nautilus/el7/x86_64/
    gpgcheck=0
    priority=1
    enable=1
    [ceph-noarch]
    name=Ceph noarch packages
    baseurl=http://download.ceph.com/rpm-nautilus/el7/noarch/
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=https://download.ceph.com/keys/release.asc
    [ceph-source]
    name=Ceph source packages
    baseurl=http://download.ceph.com/rpm-nautilus/el7/SRPMS/
    gpgcheck=0
    priority=2
    enable=1

  • yum install -y ceph-fuse
  • mkdir /etc/ceph
  • scp root@192.168.2.3:/etc/ceph/ceph.client.admin.keyring /etc/ceph/
  • ceph-fuse -m 192.168.2.3:6789 /opt/ceph/ --no-mon-config
笨小孩@GF 知行合一
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
stm32f4-lwIP.rar
11-09
stm32f4-lwIP.rar
osd_pool_default_min_size参数是否一定要配置？
a1454927420的博客
08-01 6970
疑惑： 使用ceph --show-config 可以看到默认情况下 osd_pool_default_size = 3 #创建pool的时候默认pool是3副本 osd_pool_default_min_size = 0 #按照网上的解释，这个参数是定义了参数pool最少可写的副本数，并且通常设置成2 曾经有这样2个疑问，默认参数osd_pool_default_min_si...
centos7安装ceph(单节点)（ceph-deploy）
最新发布
weixin_73460492的博客
04-25 1048
同时，Ceph的去中心化设计也提供了更大的灵活性，使得集群的扩展更加容易和高效。Ceph的诞生主要是为了解决统一存储的I/O问题、高性能分布式文件系统的需求、数据容错和无缝复制以及可扩展性和灵活性等问题。随着云计算的发展，Ceph成为了一个受关注的开源项目，并乘上了OpenStack的春风，得到了广泛的应用和推广。Ceph提供对象、块和文件存储，是一个统一存储解决方案，旨在解决不同类型数据存储的I/O问题。这指定了Ceph集群用于公共通信（例如，客户端与集群之间的通信）的网络。
Ceph分布式存储：资源池Pool的管理与MDS、RBD、RGW接口的部署
m0_74170357的博客
10-16 1385
Pool 数据池/资源池/存储池，可理解成一个存放PG的命名空间一个Pool可以多个PG不同Pool的PG可以同名CephFS（Ceph文件系统）是Ceph存储集群中用于支持分布式文件存储的组件。MDS（Metadata Server）是CephFS的元数据服务器，它负责管理文件系统的元数据，包括目录结构、文件属性和权限等信息。CephFS的MDS接口提供了用户与Ceph存储集群中的元数据服务器进行交互的方式，实现对分布式文件系统的访问和管理。
ceph配置文件ceph.conf
大隐隐于野
09-13 851
rgw_thread_pool_size：rgw前端web的线程数，与rgw_frontends中的num_threads含义一致，但num_threads 优于 rgw_thread_pool_size的配置，两个只需要配置一个即可；这两个参数是管理filestore的目录分裂/合并的，filestore的每个目录允许的最大文件数为： filestore_split_multiple * abs(filestore_merge_threshold) * 16。
ceph troubleshooting
DevOps008的博客
07-06 753
1 输入ceph -s，出现如下内容原因：ceph cluster中osd的数量较少，但是又创建了多个pool。改正方法：在ceph.conf文件中添加内容：mon_pg_warn_max_per_osd = 1000，然后重新mon服务，接着查看就会看到如下内容：PS: 重启ceph mon服务的命令为：systemctl start(stop/status) ceph-mon@monnoden...
ZStack Ceph 企业版分布式存储系统软件安装手册v3.1.9.docx
08-05
ZStack Ceph 企业版分布式存储系统软件安装手册v3.1.9是上海云轴信息科技有限公司提供的一份详尽指南，旨在帮助用户成功安装和配置Ceph分布式存储系统。Ceph是一个开源的、高性能的分布式存储解决方案，广泛应用于...
携程分布式存储实践-携程ceph存储架构.pptx
12-21
【携程分布式存储实践】主要涉及的是携程在存储系统上的演进和优化，特别是对Ceph存储架构的应用。Ceph是一个开源的分布式存储系统，能够提供对象存储、块存储和文件系统的功能，以其高可用性和弹性扩展性而受到广泛...
CEPH部署文档V1.0.docx
05-12
CEPH 是一个开源的分布式对象存储和文件系统，提供高可用性、可扩展性和高性能的存储解决方案。下面是 CEPH 部署文档 V1.0 中的重要知识点： 硬件配置 在部署 CEPH 之前，需要准备合适的硬件配置。硬件配置对 CEPH...
云数据中心CEPH云存储安装.doc
10-12
CEPH是一种开源的、分布式存储系统，专为高可用性、性能和可扩展性而设计。它支持多种数据存储类型，包括对象存储、块存储和文件存储，使得它成为云数据中心的理想选择。CEPH的核心设计理念是通过冗余和数据分片来...
Ceph基础
qq_40984972的博客
03-11 1178
安装完成后ceph -s提示：“mon is allowing insecure global_id reclaim”。 解决方案：禁用不安全模式 ceph config set mon auth_allow_insecure_global_id_reclaim false 输入完成后需要等待5-10秒。 PG数量计算公式： （总OSD数量*100）/ 副本数（复制分数，默认为3）= PG数量 一般情况下结果取2的N次方，尽量先设置小点，后期可以增大。如果先设置的比较大的话后期减小风险较高，所
【ceph】CentOS7.x上ceph单机的离线部署和cephFS文件系统的使用
michaelwoshi的博客
06-29 4135
一、实验背景 1. 内网环境下，无法连接互联网，需要搭建ceph，为分布式集群提供ceph文件系统 2. 要实现脚本的自动化安装，shell脚本或者ansible playbook，不使用ceph-deploy工具 我们需要在一台能联网的实验机机器上，将ceph集群安装所需的主包及其依赖一次性下载，编写安装脚本，然后在目标机器上搭建本地yum源，实现离线安装。 我们先实现搭建本地仓库，在目...
Ubuntu 18.04.4 安装 ceph v12.2.13 Luminous
mixboot
07-16 2755
Ubuntu 18.04.4 安装 ceph1，安装`ceph-deploy`2，`ceph-deploy`节点配置免密钥登陆到其它节点3，ceph搭建~~3.1，清除ceph配置~~3.2，创建集群 1，安装ceph-deploy # wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add - OK # echo deb https://download.ceph.com/debian-luminous/ $(
ceph部署
rouse2617的博客
08-21 1377
ceph yum安装流程！！ 通俗易懂
rook-ceph部署后出现警告auth_insecure_global_id_reclaim_allowed: mons are allowing insecure global_id reclai
命运下的祥子的博客
06-29 764
AUTH_INSECURE_GLOBAL_ID_RECLAIM_ALLOWED：这个警告表明Ceph监视器允许使用不安全的全局ID回收。全局ID是用于在Ceph集群中唯一标识对象和其他实体的标识符。回收全局ID是指将已删除对象的ID重新分配给新的对象。默认情况下，Ceph监视器不允许不安全的全局ID回收，因为这可能导致数据不一致。如果您看到这个警告，可能是因为配置中启用了该选项。要解决此警告，建议不使用不安全的全局ID回收，确保数据一致性。
Ceph分布式cephfs文件系统存储集群部署
a13568hki的博客
03-01 1264
一、安装环境 node1 10.3.45.112 node2 10.3.45.113 node3 10.3.45.115 硬件配置：1C1G，另外每台机器器最少挂载二块硬盘 二、环境准备，每台都得执行 （1）关闭防火墙： systemctl stop firewalld systemctl disable firewalld （2）关闭selinux： sed -i 's/enforcing/disabled/' /etc/selinux/config setenforce 0 （3）关闭NetworkM
Ceph的安装
y_zilong的博客
08-21 1627
#配置主机名解析 root@ceph-deploy:~# cat /etc/hosts 127.0.0.1 localhost 127.0.1.1 ubuntu.yzl.cn ubuntu # The following lines are desirable for IPv6 capable hosts ::1 localhost ip6-localhost ip6-loopback ff02::1 ip6-allnodes ff02::2 ip6-allrouters 10.0.0.131.
【ceph】存储池pool的pg数量的计算和规划
zerotoall的博客
06-27 1798
【ceph】存储池pool的pg数量的计算和规划
sed -i ‘$alosd pool default size = 2' ceph.conf[zeng@admin my-cluster]$ cat ceph.conf这条指令执行的操作
06-10
这条指令执行的操作是在名为`ceph.conf`的配置文件的末尾添加一行内容`osd pool default size = 2`。 具体来说，该命令中的`sed`命令是一个用于字符串替换的工具，`-i`参数表示直接修改文件内容，`'$a'`表示在文件末尾添加一行，`osd pool default size = 2`则是要添加的内容。这个命令在执行时会打开`ceph.conf`文件，将`osd pool default size = 2`这行内容添加到文件的最后一行，并保存修改后的文件。 总之，这个命令的目的是为了修改`ceph.conf`配置文件中的默认OSD池的副本数为2。这是Ceph集群中数据可靠性的一个重要参数，该命令的执行可确保该参数被正确设置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值