linux搭建ceph集群

已于 2024-08-22 17:38:43 修改
阅读量823 收藏 11
点赞数 11
文章标签： linux ceph 服务器
于 2024-08-22 17:34:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_68858390/article/details/141430182
版权

linux三节点搭建ceph集群

主机IP主机名称
172.26.50.75node1
172.26.50.112node2
172.26.50.228node3

ceph-mon，ceph-mgr，ceph-mds都搭建在node1上，node2和node3上搭建ceph-osd，每个机器1个osd

Ceph是一个分布式的存储系统，可以在统一的系统中提供唯一的对象、块和文件存储，Ceph的大致组件如下：

    1. Ceph监视器(ceph-mon)：用来维护集群状态的映射，包括监视器映射，管理器映射，OSD映射，MDS映射和CRUSH映射，这些映射是ceph守护程序相互协调所需的关键状态，另外还负责客户端到ceph存储的身份验证；通常要实现高可用，需要3个或以上的ceph-mon服务

    2. Ceph管理器(ceph-mgr)：ceph manager守护进程负责跟踪运行时指标和ceph集群当前的状态，包括存储利用率，当前性能指标和系统负载等，ceph-mgr还托管一些python模块，以实现基于web的ceph仪表盘和rest api，通常要实现高可用至少需要2个ceph-mgr进程，通常ceph-mon和ceph-mgr个数相同，1个ceph-mon同节点会伴随1个ceph-mgr守护进程

    3. Ceph对象存储(ceph-osd)：Ceph OSD是对象存储守护程序，是用来存储数据的核心组件，实现数据存储、数据复制和恢复、数据的重新平衡，并会检查其他Ceph OSD守护程序的心跳来向ceph-mon和ceph-mgr提供一些监控信息，通常至少需要3个ceph-osd才能实现冗余和高可用性，部署的时候ceph-osd会和ceph-mon分开节点部署. 

    4. Ceph元数据服务(ceph-mds)：Ceph MDS为ceph文件系统存储元数据，注意Ceph块设备和对象存储不用mds存储元数据，Ceph MDS允许POSIX文件系统用户执行基本命令，而不会将压力都集中到Ceph OSD集群上，通常mds可以选择部署至少2个节点，可以和其他组件一起也可以分开

环境准备

下面操作默认在三台主机上全部操作

配置yum源

#新机子默认yum会有问题，这里使用阿里云yum源


#首先把之前的yum.repo文件备份
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
#下载阿里云镜像源
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
#下载完成后执行
yum makecache

配置时间同步

#执行date如果三台节点时间不同步，需要配置时间同步
#首先下载chrony服务
yum install chrony -y

#下载vim文本编辑工具
yum install vim -y

#在chrony配置文件中编辑世家按同步服务器
vim /etc/chrony.conf
#这里只需要将前几行已server开头的注释掉，
#添加下面的server，此时使用阿里云时间服务器
server ntp.aliyun.com iburst

#重启cchrony服务
systemctl restart chronyd

#将时间设置写入磁盘（以后重启数据不会丢失）
hwclock -s

配置主机名

#在172.26.50.75节点上执行
hostnamectl set-hostname node1

#在172.26.51.114节点上执行
hostnamectl set-hostname node2

#在172.26.51.228节点上执行
hostnamectl set-hostname node3

关闭防火墙，selinux

systemctl stop firewalld | systemctl disable firewalld | systemctl status firewalld

配置ceph源

ceph软件包

#对于centos7需要安装以下安装包
yum install yum-plugin-priorities

#确认，如果输出结果显示为enabled=1，则成功
cat /etc/yum/pluginconf.d/priorities.conf 

#安装ceph密钥
rpm --import 'https://download.ceph.com/keys/release.asc'

#安装elep-release仓库和其他包
yum install epel-release
yum install snappy leveldb gdisk gperftools-libs

ceph源

[ceph]
name=Ceph packages for $basearch
baseurl=https://mirrors.ustc.edu.cn/ceph/rpm-15.2.4/el7/$basearch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://mirrors.ustc.edu.cn/ceph/keys/release.asc

[ceph-noarch]
name=Ceph noarch packages
baseurl=https://mirrors.ustc.edu.cn/ceph/rpm-15.2.4/el7/noarch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://mirrors.ustc.edu.cn/ceph/keys/release.asc

[ceph-source]
name=Ceph source packages
baseurl=https://mirrors.ustc.edu.cn/ceph/rpm-15.2.4/el7/SRPMS
enabled=0
priority=2
gpgcheck=1
gpgkey=https://mirrors.ustc.edu.cn/ceph/keys/release.asc


#配置完成后，保存退出，执行
yum install ceph

配置python环境

上面的yum完成后会自动下载python3.6，但是系统默认python版本韩式python2，此时可以执行python 【回车】，查看python版本

#首先配置python环境依赖，-i指定阿里云加速
pip3 install pecan -i https://mirrors.aliyun.com/pypi/simple/
pip3 install werkzeug  -i https://mirrors.aliyun.com/pypi/simple/

#配置环境python版本
#卸载默认python2环境
rm -rf /usr/bin/python

#重新添加python3.6为默认python环境
ln -s /usr/bin/python3.6 /usrs/bin/python

配置ceph-mon

（在主节点上配置ceph监视服务，这里主节点为172.26.50.75）

配置ceph.conf文件

#首先在主机点输入，会生成密钥
uuidgen

#配置ceph.conf文件
vim /etc/ceph/ceph.cnf
[global]
        fsid = #此处输入刚刚获取的密钥
        mon initial members = node1    #主节点名称
        mon host = 172.26.50.75:6789   #主节点Ip:端口
        public network = 172.26.50.0/16  #ceph集群网关
        auth cluster required = cephx
        auth service required = cephx
        auth client required = cephx
        osd journal size = 1024
        osd pool default size = 2
        osd pool default min size = 1
        osd pool default pg num = 333
        osd pool default pgp num = 333
        osd crush chooseleaf type = 1
        mon_allow_pool_delete = true


#设置完成后保存退出
#依次执行
# 为集群创建1个密钥环，作为监视器密钥 注意其中的点.不要丢
ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
# 生成管理员密钥环 创建admin用户 也是第一个客户端用户
ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'
# 生成bootstrap密钥环和用户
ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'

# 然后将刚才生成的密钥追加到ceph.mon.keyring
ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
ceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring

# 修改ceph.mon.keyring的权限为ceph ceph用户安装时已经自动创建
chown ceph:ceph /tmp/ceph.mon.keyring


# 注意这里主机名， ip, fsid要换成实际的
monmaptool --create --add node1 172.26.50.75 --fsid 【这里写刚刚的密钥】 /tmp/monmap
   
然后创建ceph-mon数据目录：

# 目录名为: 集群名-主机名  这里是: ceph-node1
mkdir /var/lib/ceph/mon/ceph-node1

使用刚才生成的密钥环和映射初始化数据目录：
# -i 指定主机名
ceph-mon --mkfs -i node1 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring
    
调整数据目录权限为ceph：
chown -R ceph:ceph /var/lib/ceph/mon/ceph-node1/
    
然后启动ceph-mon服务：
# 服务名为：ceph-mon@主机名
systemctl start ceph-mon@node1
# 查看服务状态
systemctl status ceph-mon@node1

检查ceph集群状态

ceph -s

配置ceph-mgr

主节点操作

配置守护进程

# 创建mgr密钥目录, 命名为: 集群名-主机名
mkdir /var/lib/ceph/mgr/ceph-node1
# 创建mgr身份验证密钥 注意里面的mgr.node1，node1为主机名
ceph auth get-or-create mgr.node1 mon 'allow profile mgr' osd 'allow *' mds 'allow *' > /var/lib/ceph/mgr/ceph-node1/keyring
# 修改权限
chown -R ceph:ceph /var/lib/ceph/mgr/ceph-node1/

ceph-mgr -i node1

查看集群状态

systemctl start ceph-mgr@node1

systemctl status ceph-mgr@node1

osd配置

（在另外两台节点上配置）

#将 密钥从node1传输到node2和node3，node1上操作
scp /var/lib/ceph/bootstrap-osd/ceph.keyring node2:/var/lib/ceph/bootstrap-osd/
scp /var/lib/ceph/bootstrap-osd/ceph.keyring node3:/var/lib/ceph/bootstrap-osd/

#将ceph.conf从node1节点传输到另外两台节点上,node1上操作
scp /etc/ceph/ceph.conf 172.26.51.114:/etc/ceph/
scp /etc/ceph/ceph.conf 172.26.51.228:/etc/ceph/

创建osd节点

ceph-volume lvm create --data /dev/sdb1  #这里写使用lsblk之后的分区配置

ceph-mds部署

（node1主节点上操作，部署守护进程）

# 目录名同样是: 集群名-主机名
mkdir /var/lib/ceph/mds/ceph-node1
# 然后创建mds 密钥环到刚建的目录中, 注意mds.node1同样写主机名
ceph-authtool --create-keyring /var/lib/ceph/mds/ceph-node1/keyring --gen-key -n mds.node1
# 最后导入密钥环  设置访问权限 同样注意主机名
ceph auth add mds.node1 osd "allow rwx" mds "allow" mon "allow profile mds" -i /var/lib/ceph/mds/ceph-node1/keyring

编辑配置文件

#
vim /etc/ceph/ceph.conf
#在末尾添加
[mds.node1]
    host = node1

启动守护进程

ceph-mds --cluster ceph -i node1 -m node1:6789

创建存储池

# 创建名字为cephfs_data的数据池 pg大小为128
ceph osd pool create cephfs_data 128
# 创建名字为cephfs_metadata的存储池 pg大小为64
ceph osd pool create cephfs_metadata 64

ceph fs new cephfs cephfs_metadata cephfs_data

查看ceph情况

挂载

mkdir /mnt/mycephfs
mount -t ceph :/ /mnt/mycephfs/ -o name=admin

df -h

浓黑的daidai
关注
ceph集群搭建
s1440350254的博客
02-07 2110
ceph集群搭建 文章目录ceph集群搭建cephceph的构成搭建ceph集群实现块存储客户端使用块设备 ceph ceph被称作面向未来的存储 中文手册： https://access.redhat.com/documentation/zh-cn/red_hat_ceph_storage/5/html/architecture_guide/index http://docs.ceph.org.cn/ ceph可以实现的存储方式： 块存储：提供像普通硬盘一样的存储，为使用者提供“硬盘”
linux————ceph分布式部署
a872182042的博客
09-22 1433
是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
Ceph 基本架构（一）
最新发布
Lzcsfg的博客
09-20 1405
Ceph 的 MON 节点通过无中心化的共识机制来确保集群的一致性和高可用性。当某个 MON 节点失效时，剩余的 MON 节点会继续工作，并在必要时重新选举一个领导者来协调特定的操作。这种设计使得 Ceph 能够在单点故障的情况下继续保持正常运行，提高了系统的可靠性和稳定性。
Ceph分布式对象存储集群部署
a13568hki的博客
07-15 908
1、安装环境 三台Centos7虚拟机 node1 10.0.40.133 node2 10.0.40.134 node3 10.0.40.135 硬件配置：1C1G，另外每台机器器最少挂载二块硬盘 2、环境准备 （1）关闭防火墙： systemctl stop firewalld systemctl disable firewalld （2）关闭selinux： sed -i 's/enforcing/disabled/' /etc/selinux/config setenforce 0 （3）关闭Ne
三台服务器搭建ceph集群，有无公网都可搭建（centos系统）
Yexszzz的博客
02-23 1044
使用ceph-deploy工具搭建ceph集群，有无公网都可搭建（centos系统） 一、环境前准备（重要，缺一不可） 以ceph1（或者node1 这里看大家自定义自己的服务器主机名）为例，先通过ceph1实现三台服务器免密登陆，主机修改/etc/hosts文件同步至所有服务器，然后防火墙关闭、selinux设置宽松模式 实现免密登陆 [root@node1 ~]# ssh-keygen -f /root/.ssh/id_rsa -N '' [root@ceph1 ~]# for i in
cephadm搭建ceph文件集群存储
qq_20807319的博客
01-14 1883
一、基础配置 1、配置主机名 [root@ecs-cd34 ~]hostnamectl set-hostname node1 [root@ecs-cd34 ~]exec bash #主机名生效 2、配置hosts解析（根据自己的服务器id修改） cat >> /etc/hosts <<EOF 192.168.0.70 node1 192.168.0.71 node2 192.168.0.72 node3 EOF 3、关闭防火墙和selinux systemctl disa
Ubuntu14多节点搭建ceph集群
四妮儿L的博客
10-31 1347
Ubuntu14.04中Ceph搭建过程 安装环境： Ceph 0.87.2  Ubuntu-14.04 LTS  集群节点信息： Host   ip address mon    10.0.0.8   osd0    10.0.0.30 osd1    10.0.0.50 mon节点是admin节点，装一个monitor，一个osd，一个mds osd0 节点，装一个osd
Ceph集群搭建
weixin_44620146的博客
02-14 2157
目录 一.对象的存入过程 二.集群搭建 1.规划准备 2.配置 3.扩展ceph集群 一.对象的存入过程 file→object→PG(pool)→osd 1.用户使用客户端接入时，先将文件切分为固定大小的存储对象(Object) 2.RRADOS 把它的存储空间拆分成一个个存储池(pool)，存储池大小取决于底层容量大小，每一个存储池再进一步划分为名称空间，每一个存储池内部会有多个PG(归置组) 存储池和归置组都是抽象的逻辑概念 3.对象要存到RRADOS集群时，要先向存储
Ceph集群搭建系列（一）：Ceph 集群搭建
Yannick Jiang 的专栏
06-11 5944
目录 摘要： 目录 一、准备机器 二、ceph节点安装 三、搭建集群 后续：Ceph集群搭建系列（二）：Ceph 集群扩容 参考： 摘要： 本文介绍的Ceph 集群搭建是基于luminous版本（ceph -v: ceph version 12.2.11 (26dc3775efc7bb286a1d6d66faee0ba30ea23eee) luminous (stable)），c...
Linux学习--Ceph部署
丢爸
08-24 1112
链接: https://pan.baidu.com/s/1Yof-X-fD8kYLSmLAWFo5Ug 提取码: txj5。
Centos7搭建CEPH集群运维测试与实验文档
01-18
最小化Centos系统搭建CEPH集群运维测试与实验文档，从安装到部署成功运行，注意系统版本为Centos7
rocky linux 9.2系统搭建最新ceph集群
08-08
rocky linux 9.2系统搭建最新ceph集群
第一篇：用Docker搭建Ceph集群(nautilus版本)
码农飞哥
10-26 8428
在CentOS7上通过Docker搭建Ceph分布式文件系统
centos7安装ceph(单节点)（ceph-deploy）
weixin_73460492的博客
04-25 1568
同时，Ceph的去中心化设计也提供了更大的灵活性，使得集群的扩展更加容易和高效。Ceph的诞生主要是为了解决统一存储的I/O问题、高性能分布式文件系统的需求、数据容错和无缝复制以及可扩展性和灵活性等问题。随着云计算的发展，Ceph成为了一个受关注的开源项目，并乘上了OpenStack的春风，得到了广泛的应用和推广。Ceph提供对象、块和文件存储，是一个统一存储解决方案，旨在解决不同类型数据存储的I/O问题。这指定了Ceph集群用于公共通信（例如，客户端与集群之间的通信）的网络。
Ceph集群
weixin_45544598的博客
08-20 253
准备四台KVM虚拟机，其三台作为存储集群节点，一台安装为客户端，实现如下功能： 创建1台客户端虚拟机 创建3台存储集群虚拟机 配置主机名、IP地址、YUM源 修改所有主机的主机名 配置无密码SSH连接 配置NTP时间同步 创建虚拟机磁盘 1.2 方案 使用4台虚拟机，1台客户端、3台存储集群服务器，拓扑结构如图-1所示。 图-1 所有主机的主机名及对应的IP地址如表-1所示。 注意：所有主机基本...
《Linux运维实战：分布式存储ceph集群部署》
东城绝神
06-07 482
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例
ceph集群
weixin_30367945的博客
09-18 78
ceph集群部署 ceph理解： Ceph是一个分布式存储，可以提供对象存储、块存储和文件存储，其中对象存储和块存储可以很好地和各大云平台集成。其他具体介绍可见官网简介:http://docs.ceph.com/docs/master/start/intro/ 三个节点地址及主机名对应： 192.168.10.100 node01 192.168.10.101 node02 192....
Centos 7下搭建与运维CEPH集群实战指南
本篇文档详细介绍了在Centos 7环境下搭建CEPH集群的全过程，包括实验背景、环境准备、系统安装以及运维测试。首先，CEPH是一个分布式文件系统，旨在提供高可用性和容错性，避免单点故障，支持大规模数据存储和复制。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值