ceph手动部署全流程

最新推荐文章于 2024-04-29 22:56:39 发布
最新推荐文章于 2024-04-29 22:56:39 发布
阅读量865 收藏 8
点赞数 2
分类专栏： ceph 文章标签： ceph 运维 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/slhywll/article/details/130004187
版权
该文提供了在Ubuntu22.04服务器上手动部署Ceph集群的详细步骤，包括环境预配置、Mon、Mgr和Osd服务的部署，以及Dashboard的启用和块存储服务的测试。部署涉及多个节点，每个节点的角色包括Mon、Mgr和Osd，并且强调了安全性和配置文件的同步。
摘要由CSDN通过智能技术生成

基础环境信息

CPU： amd64
OS版本：ubuntu22.04.2 server
Ceph版本：Ceph 17.2.5 (基于源码制作的deb,解压源码后，通过make-deb.sh脚本制作即可)

部署目标

进行Ceph 集群典型架构（最小化）手动部署测试。
可对外提供块存储、对象存储、文件存储服务。支持Dashboard管理。

Ceph集群角色

主机名ip地址ceph角色
node110.12.224.92mon,mgr,osd
node210.12.224.34mon,mgr,osd
node310.12.224.93mon,mgr,osd
client10.12.224.44client

手动部署流程

1: 安装依赖，执行ceph源码中的install-debs.sh脚本即可,之后安装ceph debs
2：环境预配置
3：部署mon服务
4：部署mgr服务，并开启dashboard服务
5：部署osd服务
6：块设备服务测试(client执行)

1. 安装依赖（所有节点）

a. 获取源码
https://mirrors.aliyun.com/ceph/tarballs/ceph-17.2.5.tar.gz?spm=a2c6h.25603864.0.0.513869fbZljYok

b. 进行解压
tar -zxvf ceph-17.2.5.tar.gz

c.执行脚本
cd ceph-17.2.5 && ./install-deps.sh

d.安装ceph debs
./install-ceph-debs.sh

2. 环境预配置

a. 切换root权限
sudo -i

b. 修改主机名
hostnamectl set-hostname 主机名

c. 配置hosts文件，所有节点操作
cat > /etc/hosts <<EOF
127.0.0.1 localhost
127.0.1.1 主机名

::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

10.12.224.92 node1
10.12.224.34 node2
10.12.224.93 node3
10.12.224.44 client
EOF

d.关闭防火墙
systemctl disable --now firewalld


e. 配置时间同步(enable 暂时不行)
apt-get install ntp
/etc/init.d/ntp restart
systemctl enable ntp.service
systemctl status ntp.service

f. ssh配置
ssh-keygen -t rsa
ssh-copy-id root@node2
ssh-copy-id root@node3
ssh-copy-id root@client

3. 部署mon服务，非明确指定，均在node1执行

a. 生成uuid
uuidgen
> 9bf24809-220b-4910-b384-c1f06ea80728

b. 创建ceph配置文件
cat > /etc/ceph/ceph.conf <<EOF
[global]
fsid = 871a4ca1-60dc-4f7c-97ac-e9398e6dd6a3
mon_initial_members = node1,node2,node3
mon_host = 10.12.224.92,10.12.224.34,10.12.224.93
public_network = 10.12.224.0/24
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
osd_journal_size = 1024
osd_pool_default_size = 3
osd_pool_default_min_size = 2
osd_pool_default_pg_num = 64
osd_pool_default_pgp_num = 64
osd_crush_chooseleaf_type = 1
EOF

c. 创建集群monitor密钥
ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'

d. 创建client.admin用户密钥，client.bootstrap-osd用户密钥, 并添加到集群密钥中
ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'
ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring

ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'
ceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring


e. 使用主机名，ip，fsid生成monitor map
monmaptool --create --add node1 10.12.224.92 --add node2 10.12.224.34 --add node3 10.12.224.93 --fsid 9bf24809-220b-4910-b384-c1f06ea80728 /tmp/monmap

f. 启动monitor服务
rm -rf /var/lib/ceph/mon/ceph-node1
sudo -u ceph mkdir /var/lib/ceph/mon/ceph-node1
chown ceph.ceph -R /var/lib/ceph /etc/ceph /tmp/ceph.mon.keyring /tmp/monmap
sudo -u ceph ceph-mon --mkfs -i node1 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring
ls /var/lib/ceph/mon/ceph-node1/

systemctl restart ceph-mon@node1
systemctl enable ceph-mon@node1
systemctl status ceph-mon@node1

g. 同步配置文件、密钥、monmap到其他节点中
scp /etc/ceph/ceph.client.admin.keyring root@node2:/etc/ceph/
scp /etc/ceph/ceph.client.admin.keyring root@node3:/etc/ceph/

scp /var/lib/ceph/bootstrap-osd/ceph.keyring root@node2:/var/lib/ceph/bootstrap-osd/
scp /var/lib/ceph/bootstrap-osd/ceph.keyring root@node3:/var/lib/ceph/bootstrap-osd/

scp /tmp/ceph.mon.keyring root@node2:/tmp/
scp /tmp/ceph.mon.keyring root@node3:/tmp/
scp /tmp/ceph.mon.keyring root@client:/tmp/

scp /tmp/monmap root@node2:/tmp/
scp /tmp/monmap root@node3:/tmp/

scp /etc/ceph/ceph.conf root@node2:/etc/ceph/
scp /etc/ceph/ceph.conf root@node3:/etc/ceph/

h. 启动node2节点的monitor服务
sudo -i
rm -rf /var/lib/ceph/mon/ceph-node2
sudo -u ceph mkdir /var/lib/ceph/mon/ceph-node2
chown ceph.ceph -R /var/lib/ceph /etc/ceph /tmp/ceph.mon.keyring /tmp/monmap
sudo -u ceph ceph-mon --mkfs -i node2 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring
ls /var/lib/ceph/mon/ceph-node2/

systemctl restart ceph-mon@node2
systemctl enable ceph-mon@node2
systemctl status ceph-mon@node2

i. 启动node3节点的monitor服务
sudo -i
rm -rf /var/lib/ceph/mon/ceph-node3
sudo -u ceph mkdir /var/lib/ceph/mon/ceph-node3
chown ceph.ceph -R /var/lib/ceph /etc/ceph /tmp/ceph.mon.keyring /tmp/monmap
sudo -u ceph ceph-mon --mkfs -i node3 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring
ls /var/lib/ceph/mon/ceph-node3/

systemctl restart ceph-mon@node3
systemctl enable ceph-mon@node3
systemctl status ceph-mon@node3

j. 查看集群状态 任意节点
	ceph -s

>   cluster:
>     id:     9bf24809-220b-4910-b384-c1f06ea80728
>     health: HEALTH_OK
>   services:
>     mon: 3 daemons, quorum controller2,controller3,controller1 (age 2s)
>     mgr: no daemons active
>     osd: 0 osds: 0 up, 0 in
>     data:
>     pools:   0 pools, 0 pgs
>     objects: 0 objects, 0 B
>     usage:   0 B used, 0 B / 0 B avail
>     pgs:


HEALTH_WARN警报信息清除
出现警告：mons are allowing insecure global_id reclaim。
解决办法：ceph config set mon auth_allow_insecure_global_id_reclaim false

出现警告：monitors have not enabled msgr2
解决办法：ceph mon enable-msgr2

4. 部署mgr服务，并开启dashboard服务

a. node1 开启mgr服务
sudo -i
rm -rf /var/lib/ceph/mgr/ceph-node1
mkdir -p /var/lib/ceph/mgr/ceph-node1
chown ceph.ceph -R /var/lib/ceph
ceph-authtool --create-keyring /etc/ceph/ceph.mgr.node1.keyring --gen-key -n mgr.node1 --cap mon 'allow profile mgr' --cap osd 'allow *' --cap mds 'allow *'
ceph auth import -i /etc/ceph/ceph.mgr.node1.keyring
ceph auth get-or-create mgr.node1 -o /var/lib/ceph/mgr/ceph-node1/keyring

systemctl restart ceph-mgr@node1
systemctl enable ceph-mgr@node1
systemctl status ceph-mgr@node1

b. node2 开启mgr服务
sudo -i
rm -rf /var/lib/ceph/mgr/ceph-node2
mkdir -p /var/lib/ceph/mgr/ceph-node2
chown ceph.ceph -R /var/lib/ceph
ceph-authtool --create-keyring /etc/ceph/ceph.mgr.node2.keyring --gen-key -n mgr.node2 --cap mon 'allow profile mgr' --cap osd 'allow *' --cap mds 'allow *'
ceph auth import -i /etc/ceph/ceph.mgr.node2.keyring
ceph auth get-or-create mgr.node2 -o /var/lib/ceph/mgr/ceph-node2/keyring

systemctl restart ceph-mgr@node2
systemctl enable ceph-mgr@node2
systemctl status ceph-mgr@node2

c. node3 开启mgr服务
sudo -i
rm -rf /var/lib/ceph/mgr/ceph-node3
mkdir -p /var/lib/ceph/mgr/ceph-node3
chown ceph.ceph -R /var/lib/ceph
ceph-authtool --create-keyring /etc/ceph/ceph.mgr.node3.keyring --gen-key -n mgr.node3 --cap mon 'allow profile mgr' --cap osd 'allow *' --cap mds 'allow *'
ceph auth import -i /etc/ceph/ceph.mgr.node3.keyring
ceph auth get-or-create mgr.node3 -o /var/lib/ceph/mgr/ceph-node3/keyring

systemctl restart ceph-mgr@node3
systemctl enable ceph-mgr@node3
systemctl status ceph-mgr@node3

d.使能dashboard服务，任意节点执行
sudo -i
ceph mgr module disable dashboard
ceph mgr module enable dashboard
ceph dashboard create-self-signed-cert
ceph config set mgr mgr/dashboard/server_addr 10.12.224.34
ceph config set mgr mgr/dashboard/server_port 8080
ceph config set mgr mgr/dashboard/ssl_server_port 8443

echo '88888888' > /tmp/password.txt
ceph dashboard ac-user-create admin  administrator -i /tmp/password.txt

e. 通过dashboard访问cluster，用户名密码为admin/88888888
https://10.12.224.92:8443

5. 部署osd服务

a. 所有节点进行硬盘设置
ceph-volume lvm create --data /dev/sda

6. 块设备服务测试(client执行)

a. 拷贝服务器端的配置文件及密钥
scp root@node1:/etc/ceph/ceph.conf /etc/ceph/
scp root@node1:/etc/ceph/ceph.client.admin.keyring /etc/ceph/

b. 测试连接状态
ceph -s
> cluster:
> 		id:     cf3862c5-f8f6-423e-a03e-beb40fecb74a
> 		health: HEALTH_OK
>
> services:
> 		mon: 	3 daemons, quorum ceph03,ceph02,ceph01 (age 12d)
> 		mgr:	ceph01(active, since 3w), standbys: ceph02、ceph03
> 		osd:    9 osds: 9 up (since 89s), 9 in (since 89s)
>
> data:
> 	 	pools:   0 pools, 0 pgs
> 		objects: 0 objects, 0 B
> 		usage:   9.0 GiB used, 16 TiB / 16 TiB avail
> 		pgs:


c. 创建块设备池
ceph osd pool create test-pool 128
ceph osd pool application enable test-pool rbd
ceph osd lspools

d. 创建块设备镜像
rbd create --size 1T disk01 --pool test-pool
rbd ls test-pool -l
rbd info test-pool/disk01

e. 修改块设备镜像能力
rbd feature disable test-pool/disk01 exclusive-lock, object-map, fast-diff, deep-flatten

f. 映射块设备
rbd map test-pool/disk01
mkfs.xfs /dev/rbd0
rbd showmapped

g. 挂载并使用块设备
mkdir /home/loongson/ceph_disk01
mount /dev/rbd0 /home/loongson/ceph_disk01
cd /home/loongson/ceph_disk01


df -Th 可以查询容量
dd if=/dev/zero of=/home/loongson/ceph_disk01/rbd-test-file bs=1M count=10
注意事项1

添加osd设备前使用脚本进行预处理，脚本内容如下：

#!/bin/bash
DISK="/dev/sda"

# Zap the disk to a fresh, usable state (zap-all is important, b/c MBR has to be clean)
sgdisk --zap-all $DISK

# Wipe a large portion of the beginning of the disk to remove more LVM metadata that may be present
dd if=/dev/zero of="$DISK" bs=1M count=100 oflag=direct,dsync

# SSDs may be better cleaned with blkdiscard instead of dd
blkdiscard $DISK

# Inform the OS of partition table changes
partprobe $DISK
注意事项2
查看端口是否占用
lsof -i:port

可以删除对应的pid
kill -9 pid

如果是8443占用
可以使用以下命令进行解除占用
ceph mgr module disable dashboard
注意事项3
在scp，create过程中遇见失败，可以先删除对应的文件，然后进行操作
注意事项4
在做service相关操作时，可以使用systemctl disable servername + table一下查看之前的服务，判断某些服务上是否需要关闭
注意事项5
ssh root 输入正确密码也无法连接的处理办法

vim /etc/ssh/sshd_config
将PasswordAuthentication和PermitRootLogin的注释去掉(删除#)，并且将值改为yes。

重启sshd 服务
systemctl restart sshd
slhywll
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Ubuntu22.04搭建ceph 集群
3322855165
04-18 2756
Ceph是一个开源的、提供软件定义的、统一的分布式存储系统，设计初衷是提供较好的性能、 可靠性和可扩展性。(open-source,distributed,reliable,scalable,unified) “统一的”意味着一套存储系统同时提供块存储、文件存储、对象存储三种功能。 “分布式”意味着Ceph实现了无中心结构和没有理论上限的系统规模可扩展性
手动部署ceph17.2.5
m0_46527921的博客
03-22 771
1、编辑 /etc/apt/sources.list 加上ceph17.2.5的源deb2、加载软件包3、加载软件包会报错使用以下命令即可解决，然后重新apt update。
使用Cephadm安装Ceph笔记
最新发布
zkyqss的博客
04-29 1311
在这种情况下，你需要将集群的公共 SSH 密钥添加到新主机的root用户的authorized_keys文件中，以便root用户可以使用集群的私钥来验证并与其他服务器建立安全连接。当你添加新的节点到 Ceph 存储集群时，你需要通知 Ceph 系统，这样它就可以开始在新节点上分配数据和执行其他必要的操作，以确保新节点与现有节点一起工作，形成一个完整的存储集群。Cephadm 的目标是简化 Ceph 存储集群的部署和管理过程，使得用户可以更轻松地搭建和管理复杂的存储基础设施。采用Chrony进行时间同步。
ubuntu 22.04部署quincy版ceph
HaZ3876的博客
11-09 2666
ubuntu 22.04部署ceph
ceph的安装过程
10-19 4961
前面一段时间公司要求找一个分布式软件，于是就看了下开源的ceph，在官网上http://ceph.com/download/下载了ceph-0.52.tar.gz源码包。 这儿记录了下自己安装的过程：         操作系统使用的是： CentOS-6.3-x86_64；         一、先安装一些编译常用工具，也是本次编译所需要用到的工具： yum install autom
使用rook搭建Ceph集群
张兆坤
08-22 1008
ceph存储部署到k8s上后可以开始做PV、PVC、Storage Class的练习了，也可以开始配置有状态的服务比如zookeeper、Redis了，解锁一大片领域，是k8s实践路上的一道必须迈过去的坎。
02 Ceph安装部署
qq_35112554的博客
08-15 56
分类:标签:目录Ceph。
Ceph分布式存储部署
2301_76352247的博客
01-18 1591
存储机制会把数据分散存储到多个节点上，具有高扩展性、高性能、高可用性等优点。Ceph目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack，Kubernetes都可与Ceph整合以支持虚拟机镜像的后端存储。粗略估计，我国70%—80%的云平台都将Ceph作为底层的存储平台，由此可见Ceph俨然成为了开源云平台的标配。目前国内使用Ceph搭建分布式存储系统较为成功的企业有华为、阿里、中兴、华三、浪潮、中国移动、网易、乐视、360、星辰天合存储、杉岩数据等。
ceph_fly:使 ceph 集群部署快速而简单
06-25
在传统的Ceph部署过程中，需要手动安装和配置各个节点，包括安装软件包、配置网络、创建存储池、设置监控和管理等步骤。这些步骤不仅繁琐，而且容易出错。Ceph_Fly通过自动化这些流程，极大地提高了部署速度，降低了...
ceph常用操作和故障排查.rar
03-19
1. **集群部署**：在部署Ceph时，需要规划好硬件资源，配置存储池，确定OSD数量和分布，以及设置监控和元数据服务。 2. **数据迁移**：通过`ceph osd pool set`命令可以调整数据池的副本数，实现数据在OSD间的平衡。...
ceph-ansible-4.0.62.tar.gz
07-27
这意味着该压缩包包含了预配置的Ceph-Ansible设置，用户只需要根据自己的网络环境更改IP地址，就能快速启动部署流程。这种预配置大大减少了手动配置的工作量，提高了部署效率。 在标签“ceph-ansible”中，我们可以...
Ceph cmake编译管理.rar
10-20
Ceph 是一个开源的分布式存储系统，它提供对象存储、块存储和文件系统接口，广泛应用于云计算、大数据和科学计算领域。...通过熟练掌握CMake，开发者可以更有效地处理Ceph的编译和部署任务，实现高效的开发流程。
ceph-install-scripts：ZenDRIVE Ceph安装脚本
02-13
`install.sh`是整个流程的入口，它通常会检查系统环境，确保满足Ceph的安装要求，如Linux发行版、内核版本等。然后，它会安装必要的依赖包，如`apt-get install`或`yum install`，以获取Ceph的源代码或二进制包。 ...
Ceph手动部署（开发版本）
隔壁老瓦的专栏
04-18 488
运行初始监视器后，应添加 OSD。您的集群 在有足够的 OSD 来处理 对象的副本数（例如，需要 至少两个 OSD）。在通常的做法中，Ceph Monitor 名称是主机名（我们建议使用一个 每个主机的 Ceph 监视器，并且不会将 Ceph OSD 守护程序与 Ceph Monitors）。您应该看到您启动的监视器已启动并正在运行的输出，并且 您应该会看到运行状况错误，指示归置组已停滞 无效。如果 OSD 用于操作系统驱动器以外的驱动器，请准备它 与 Ceph 一起使用，并将其挂载到您刚刚创建的目录中。
ceph-16.2.10P版分布式存储部署以及块存储、文件存储、对象存储的具体使用方式介绍
张军伟的技术博客
11-09 1694
ceph部署以及使用介绍
CEPH分布式存储部署
weixin_43838503的博客
12-31 2528
ceph支持块存储、对象存储、cephfs文件共享系统，概念性的东西这里不过多介绍，请自行查阅ceph分布式存储相关资料，本文主要介绍ceph分布式集群部署 操作系统：centos7.9 最小安装 节点配置：ceph.node1+ceph.node2+ceph.node3 Dell R730xd 3台（单台配置 256G内存+4块128G SSd+10块8T HDD），4块ssd raid10 数据盘未作raid，节点多有条件的可以做raid10 集群组成：admin master节点+node1存储节点
ceph安装部署
weixin_39934651的博客
01-12 1699
ceph集群创建： 创建虚拟机器必须是单数例如：3，6，9等 主机名对相应的/etc/hosts，ip地址，yum源可以上网查询 修改所有主机的主机名，ssh免密连接，ntp时间同步，创建物理磁盘 hostnamectl set-hostname ceph1 reboot 1.关闭防火墙 systemctl stop firewalld systemctl disable firewalld 2.关闭selinux setenforce 0 步骤一： 挂在相关的ceph资源包，ceph-.
ceph源码安装
chulanlang6998的博客
05-04 533
1. ceph源码编译 1.1 ceph源码下载 Ceph的源码获取地址常用的有3个，其中官方发布的源代码路径为： http://download.ceph.com/tarballs/ 在该路径下下载相应发行版本的源代码tar包即可； 同时也可以使用git版本管理工具获取最新的开...
ceph部署步骤
wohuizuimei的博客
04-19 2024
ceph部署步骤 安装前的准备：1.检查ntp集群的同步的时间服务器是否安装。 1.修改yum源(三台机器都需要进行操作) yum clean all curl http://mirrors.aliyun.com/repo/Centos-7.repo >/etc/yum.repos.d/CentOS-Base.repo curl http://mirrors.aliyun.com/repo/epel-7.repo >/etc/yum.repos.d/epel.repo sed -i ‘/aliy
ceph adm部署
04-17
Ceph是一个开源的分布式存储系统，可以提供高性能、高可靠性和可扩展性的存储解决方案。Ceph Adm是Ceph的管理工具，用于部署和管理Ceph集群。 Ceph Adm的部署过程如下： 1. 安装Ceph Adm：首先需要在管理节点上安装Ceph Adm工具。可以通过包管理器或者源码编译的方式进行安装。 2. 初始化Ceph集群：使用Ceph Adm初始化Ceph集群，这将创建一个初始的监视器（Monitor）和管理密钥。 3. 添加OSD节点：将存储设备（硬盘或者SSD）添加到Ceph集群中作为对象存储守护进程（OSD）。可以使用Ceph Adm命令来添加和管理OSD节点。 4. 配置网络：配置Ceph集群的网络设置，确保各个节点之间可以正常通信。 5. 创建存储池：使用Ceph Adm创建存储池，存储池是用来存储数据的逻辑单元。 6. 配置客户端访问：配置客户端访问Ceph集群的权限和方式，可以使用RADOS Gateway提供对象存储接口，也可以使用CephFS提供文件系统接口。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值