Centos7 搭建ceph集群

最新推荐文章于 2024-05-11 07:11:17 发布
最新推荐文章于 2024-05-11 07:11:17 发布
阅读量2k 收藏 13
点赞数
分类专栏： 学习笔记 文章标签： linux ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fake_hydra/article/details/109235907
版权

Ceph中文开源社区地址：http://ceph.org.cn/
Ceph官方文档：http://docs.ceph.org.cn/

ceph理论性的东西这里我就不说了，有兴趣的同学可以去看官方文档，我这就直接上实验过程了～

机器准备
HostNameIP功能
Ceph110.15.5.246admin,osd,mon
Ceph210.15.5.247osd,mds
Ceph310.15.5.248osd,mds
Ceph410.15.5.249client
环境准备
  1. 创建虚拟机时多添加一块100G 的硬盘，容量不够的可以少一点;
  2. 修改主机名：Ceph{1…4};
  3. 关闭防火墙：systemctl stop/disable firewalld;
  4. 关闭selinux。
添加/etc/hosts
vim /etc/hosts
10.15.5.246 Ceph1
10.15.5.247 Ceph2
10.15.5.248 Ceph3
10.15.5.249 Ceph4
免密互信
# 每台上面操作
ssh-keygen -t rsa
# 互相增加（在Ceph1上+2/3/4 ，以此类推，直到所有可以直接通过主机名ssh）
ssh-copy-id Ceph{2..4}
格式化硬盘，创建osd目录并且挂载

我在创建虚拟机的时候添加了两块硬盘，/dev/sda 以及/dev/sdb,系统安装在/dev/sda上。

## Ceph1上操作
mkfs.xfs /dev/sdb
mkdir /var/local/osd{0..2}
mount /dev/sdb /var/local/osd0/

##  Ceph2上操作
mkfs.xfs /dev/sdb
mkdir /var/local/osd{0..2}
mount /dev/sdb /var/local/osd1/

##  Ceph3上操作
mkfs.xfs /dev/sdb
mkdir /var/local/osd{0..2}
mount /dev/sdb /var/local/osd2/

PS:以上操作为临时挂载，永久挂载需要写入 /etc/fstab

安装ntp，完成时间同步

时间需要完全统一，不然会有问题，最好是职级内网搭建一个时间同步服务～

# 所有节点执行
yum install ntp
ntpdate ntp1.aliyun.com

基本准备工作就到这了～下面开始部署

安装ceph-deploy 管理工具
配置yum源

我这里用的阿里的源

# 基础软件源
cat /etc/yum.repos.d/CentOS-Base.repo
[base]
name=CentOS-$releasever - Base - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/os/$basearch/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
 
#released updates 
[updates]
name=CentOS-$releasever - Updates - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/updates/$basearch/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
 
#additional packages that may be useful
[extras]
name=CentOS-$releasever - Extras - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/extras/$basearch/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
 
#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-$releasever - Plus - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/centosplus/$basearch/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/centosplus/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
 
#contrib - packages by Centos Users
[contrib]
name=CentOS-$releasever - Contrib - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/contrib/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/contrib/$basearch/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/contrib/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7


# Ceph源
[root@Ceph1 ~]# cat /etc/yum.repos.d/ceph.repo
[ceph]
name=ceph
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/
gpgcheck=0
priority=1

[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/noarch/
gpgcheck=0
priority=1

[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/SRPMS
gpgcheck=0
priority=1


# 再安装一个epel源
yum install -y epel-release
yum clean all
yum makecache
安装ceph-deploy 以及开始配置
yum install -y ceph-deploy

创建Monitor服务

mkdir /etc/ceph
cd /etc/ceph
ceph-deploy new Ceph1
## 执行完成后会在当前路径生成以下三个文件，分别为ceph的配置文件、日志文件以及monitor的密钥环文件

内容有点长，我分两次截图了
在这里插入图片描述
在这里插入图片描述
如果想要修改守护进程数，也就是副本数，可以在ceph.conf配置文件中添加如下内容

osd_pool_default_size = 2　　#副本数量
在所有主机上安装ceph
ceph-deploy install Ceph1 Ceph2 Ceph3 Ceph4
# 该命令直接走的官网下载，如果网速慢的可以换成通过阿里源yum下载
yum -y install ceph ceph-radosgw

大概需要几分钟，内容有点多，分三次截图
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在管理节点安装Monitor（监控）
# 创建Monitor （监控）
ceph-deploy mon create Ceph1  
# 收集keyring（密钥环）信息
ceph-deploy gatherkeys Ceph1

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

创建OSD

在准备过程中已经完成了osd目录的创建以及挂载，这里直接创建osd节点

ceph-deploy osd prepare Ceph1:/var/local/osd0/ Ceph2:/var/local/osd1/ Ceph3:/var/local/osd2/
ls /var/local/osd0/
ceph_fsid  fsid  magic
# 完成后在各节点对应目录可看到对应文件

在这里插入图片描述

激活OSD
ceph-deploy  osd activate Ceph1:/var/local/osd0/ Ceph2:/var/local/osd1/ Ceph3:/var/local/osd2/

# 这时会有一个报错，报错信息如下：
[Ceph1][WARNIN] 2020-10-22 17:01:52.548400 7f6ef1edbac0 -1  ** ERROR: error creating empty object store in /var/local/osd0/: (13) Permission denied
[Ceph1][WARNIN] 
[Ceph1][ERROR ] RuntimeError: command returned non-zero exit status: 1
[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: /usr/sbin/ceph-disk -v activate --mark-init systemd --mount /var/local/osd0/

在这里插入图片描述
解决方法：给三个节点的/var/local/osd{0…2}三个文件夹添加777权限即可。
继续执行，无报错
在这里插入图片描述
在这里插入图片描述

查看OSD
ceph-deploy osd list Ceph1 Ceph2 Ceph3

在这里插入图片描述
在这里插入图片描述

同步配置文件以及密钥

使用命令将配置文件和admin密钥同步到各个节点，以便各个节点使用ceph命令时无需指定Monitor地址和ceph.client.admin.keyring密钥。注意：还需要修改各个节点ceph.client.admin.keyring密钥的权限

 ceph-deploy admin Ceph1 Ceph2 Ceph3
 chmod +r ceph.client.admin.keyring  ## 都执行一下

在这里插入图片描述

查看OSD健康状态
ceph health

在这里插入图片描述

部署mds
ceph-deploy mds create Ceph1 Ceph2 Ceph3
ceph mds stat

部分截图
在这里插入图片描述
在这里插入图片描述

查看集群状态
ceph -s

在这里插入图片描述

创建ceph文件系统
# 查看文件系统
ceph fs ls

在这里插入图片描述

创建存储池
ceph osd pool create cephfs_data 128
ceph osd pool create cephfs_metadata 128

在这里插入图片描述

PS：命令最后的128是指定pg_num的值，这个值是不能自动计算的，需要手动赋予。一般来说，少于5个osd时，pg_num可以设置为128；osd在5到10个之间，pg_num可以设置为512；osd在10到50个之间，pg_num可以设置为4096；但是osd一旦超过50个，那么就得自己计算pg_num的取值，也可以借助工具pgcalc计算，网址是https://ceph.com/pgcalc/。

随着osd数量的增加，正确的pg_num取值变得更加重要，因为它显著地影响着集群的行为、以及出错时的数据持久性（即灾难性事件导致数据丢失的概率）。

创建文件系统
ceph fs new 128 cephfs_metadata cephfs_data

在这里插入图片描述

查看节点状态
ceph mds stat

在这里插入图片描述

常用命令
ceph osd pool get [存储池名称] size　　//查看存储池副本数
ceph osd pool set [存储池名称] size 3　　//修改存储池副本数
ceph osd lspools　　//打印存储池列表
ceph osd pool create [存储池名称] [pg_num的取值]　　//创建存储池
ceph osd pool rename [旧的存储池名称] [新的存储池名称]　　//存储池重命名
ceph osd pool get [存储池名称] pg_num　　//查看存储池的pg_num
ceph osd pool get [存储池名称] pgp_num　　//查看存储池的pgp_num
ceph osd pool set [存储池名称] pg_num [pg_num的取值]　　//修改存储池的pg_num值
ceph osd pool set [存储池名称] pgp_num [pgp_num的取值]　　//修改存储池的pgp_num值
查看存储池配额
ceph osd pool get-quota cephfs_metadata

在这里插入图片描述

客户端挂载
方式一
# 创建挂载点
mkdir /ceph 

# 获取存储密钥，没有的话重新去manager节点拷贝
[root@Ceph3 ~]# cat /etc/ceph/ceph.client.admin.keyring
[client.admin]
	key = AQBXN5Ffe3KNEhAA1vvvpkw9eedD8zF5CmoP4A==
	
# 将key所在行内容保存到/etc/ceph/admin.secret 文件中
[root@Ceph4 ~]# cat /etc/ceph/admin.secret 
AQBXN5Ffe3KNEhAA1vvvpkw9eedD8zF5CmoP4A==

# 挂载
mount -t ceph 10.15.5.246:6789:/ /ceph/ -o name=admin,secretfile=/etc/ceph/admin.secret
df -h

在这里插入图片描述

方式二（用户控件挂载ceph文件系统）
# 下载cecph-fuse
yum install -y ceph-fuse

# 挂载
ceph-fuse -m 10.15.5.246:6789 /ceph-2/

# 卸载
fusermount -u /ceph-2

在这里插入图片描述

Others

怎么卸载～

停止所有进程： stop ceph-all

卸载所有ceph程序：ceph-deploy uninstall [{ceph-node}]

删除ceph相关的安装包：ceph-deploy purge {ceph-node} [{ceph-data}]

删除ceph相关的配置：ceph-deploy purgedata {ceph-node} [{ceph-data}]

删除key：ceph-deploy forgetkeys

卸载ceph-deploy管理：yum -y remove ceph-deploy
Ahri-情书
关注
  • 0
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Centos7搭建CEPH集群运维测试与实验文档
01-18
CentOS 7 搭建 CEPH 集群运维测试与实验文档 本文档旨在介绍如何在 CentOS 7 系统上搭建 CEPH 集群，以便进行运维测试和实验。CEPH 是一个开源的分布式文件系统，具有高可用性和高性能的特点。下面将详细介绍如何...
centos7 ceph0.87
11-24
编译0.87版本ceph源码，并在centos7上成功搭建集群，并测试存储，包括相关rpms以及codes和最新ceph.conf
【CEPH-初识篇】Ceph 详细介绍，一篇解决 Ceph 集群搭建， 三大存储使用
持续分享，个人的运维经验，包含：云计算、Linux、Windows、容器、K8s、CICD、Python、运维开发、公有云等；以及个人经历相关内容，包含：实习、面试经验等。
06-04 8543
你好，我是无名小歌。 今天给大家分享一个分布式存储系统ceph。什么是ceph？ Ceph在一个统一的系统中独特地提供对象存储、块存储和文件存储。
Ceph集群部署
桂安俊@KylinOS
11-26 2942
说明目标主机已经有ceph.conf配置文件，而且内容和当前目录的配置文件不一样，如果需要覆盖则使用--overwrite-conf选项。如上图，其中：ceph.conf是主配置文件， ceph.client.admin.keyring文件存放的是ceph的用户名和密码。如上图可以看到，会自动远程所有节点主机，先拷贝主配置文件至/etc/ceph目录，然后启动各节点ceph-mon服务。客户端只是通过MON服务器找到map，map记录的是OSD存储信息，当通过map找到OSD存储信息后，
最全CentOS 7部署 Ceph分布式存储架构_centos7，2024年最新农民工看完都会了
最新发布
2401_84562858的博客
05-11 965
Monitors: Ceph Monitor维护着展示集群状态的各种图表，包括监视器图、 OSD 图、归置组（ PG ）图、和 CRUSH 图。Ceph 保存着发生在Monitors 、 OSD 和 PG上的每一次状态变更的历史信息（称为 epoch ）。MDSs: Ceph 元数据服务器（MDS）为 Ceph 文件系统存储元数据（也就是说，Ceph 块设备和 Ceph 对象存储不使用MDS ）。
Ceph集群搭建系列（一）：Ceph 集群搭建
Yannick Jiang 的专栏
06-11 5130
目录 摘要： 目录 一、准备机器 二、ceph节点安装 三、搭建集群 后续：Ceph集群搭建系列（二）：Ceph 集群扩容 参考： 摘要： 本文介绍的Ceph 集群搭建是基于luminous版本（ceph -v: ceph version 12.2.11 (26dc3775efc7bb286a1d6d66faee0ba30ea23eee) luminous (stable)），c...
Centos7--ceph分布式存储，保姆级教程，多敲几遍熟能生巧！
吸鱼徐的博客
06-01 2713
概述：1、ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。（Ceph项目最早起源于Sage就读博士期间的工作，最早的成果于2004年发表，并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储）
【Ceph】centos7搭建Ceph集群（jewel）
ns2250225
07-30 6663
机器列表192.168.88.109 node1 (mon, ceph-deploy) 192.168.88.107 node2 (osd) 192.168.88.108 node3 (osd)关闭selinux修改/etc/selinux/config， 将值设为disabled, reboot创建用户并赋予root权限(每个节点都要)这里创建的用户为：cent 密码是centsu
基于Centos7的Ceph-Jewel单机部署文档.docx
02-22
总结来说，这个单机版的Ceph-Jewel部署文档详细介绍了在CentOS 7.1上搭建Ceph集群的每一步，包括用户设置、仓库配置、`ceph-deploy`工具的安装、集群初始化、OSD和Monitor的部署，以及Cinder的集成。这样的部署方案...
Ceph 分布式集群部署
08-04
Ceph是一种开源的分布式存储系统，它被设计用于大规模数据存储和高性能计算环境。Ceph的核心特点是提供统一的存储接口，支持对象存储、块...正确部署和管理Ceph集群，能够为大规模数据存储和处理提供强大而可靠的支撑。
ceph安装部署（centos6.6）
02-06
六、搭建ceph集群 10 6.1、配置mon节点 10 6.2：添加osd节点 13 6.2.1、添加第一块osd节点 13 6.3：添加元数据服务器 17 6.3.1、添加第一个元数据服务器 17 七：安装client端RBD、cephFS挂载演示 18 7.1：客户端内核...
Centos7.0安装ceph(JEWEL)及以上版本的实例解析
09-15
主要介绍了Centos7.0安装ceph(JEWEL)及以上版本的实例解析,需要的朋友可以参考下
集群与存储 Ceph
2301_81571685的博客
12-26 949
具有高扩展、高可用、高性能的特点ceph可以提供对象存储、块存储、文件系统存储ceph可以提供PB级别的存储空间（PB --> TB --> GB） --1024G*1024G=1048576G软件定义存储（Software Defined Storage）作为存储行业的一大发展趋势，已经越来越受到市场的renke分布式是值一种独特的系统架构，它是由一组网络进行通信、为了完成共同的任务而协调工作的计算机节点组成分布式系统是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。
【Ceph】Ceph集群应用详解
陌上花开，静待绽放！
07-18 1034
到了一定年龄，便要学会寡言，每一句话都要有用，有重量。喜怒不形于色，大事淡然，有自己的底线。遇到事，先处理情绪，后处理事情，情绪处理不好，事情会更糟。
三 Ceph集群搭建
weixin_44767040的博客
04-13 3588
Ceph集群 　　集群组件 　　Ceph集群包括Ceph OSD,Ceph Monitor两种守护进程。 　　Ceph OSD(Object Storage Device): 功能是存储数据,处理数据的复制、恢复、回填、再均衡,并通过检查其他OSD守护进程的心跳来向Ceph Monitors提供一些监控信息。 　　Ceph Monitor: 是一个监视器,监视Ceph集群状态和维护集群中的各种关系。 　　Ceph存储集群至少需要一个Ceph Monitor和两个 OSD 守护进程。 　　集群环境准备
初试 Centos7 上 Ceph 存储集群搭建
热门推荐
哎_小羊的博客
12-13 2万+
Ceph 是一个开源的分布式存储系统，包括对象存储、块设备、文件系统。它具有高可靠性、安装方便、管理简便、能够轻松管理海量数据。Ceph 存储集群具备了企业级存储的能力，它通过组织大量节点，节点之间靠相互通讯来复制数据、并动态地重分布数据，从而达到高可用分布式存储功能。Ceph 经过七年的发展，现在越来越完善，吸引了更多的参与者，相信以后会更加流行。
Centos7安装ceph集群
weixin_42590736的博客
08-20 1422
Centos7安装ceph集群 ####环境(本文采取的是centos7.5) client外其它每台准备一个空闲磁盘 ip 主机名 角色 10.125.7.54 admin ceph-deploy 10.125.7.28 client ceph-client 10.125.7.65 node1 mon / osd / mgr 10.125.7.81 node2 osd 10.125.7.68 node2 osd 1、准备工作 1.1、修改主机名(每台分别执行) host
基于Centos7的Ceph环境搭建
张弈秋的博客
07-28 2277
这是我的一位同事写的环境搭建手册，主要目的是为以后要分享的基于ceph的对象网关存储做准备，接下来的文章里我将分享，基于Amazon S3 以及Swift的ceph对象存储，没有ceph的同学请自行搭建哦！ Ceph环境搭建手册 作者：周帆 时间：2017-04-11 GitOSChina: https://git.oschina.net/fantazy Ceph中文doc: http://c
centos7部署ceph集群
叼不起的烟斗的博客
03-27 1224
关闭selinux，安装系统信息 部署IP 192.168.7.11 admin,osd, mon 192.168.7.12 osd,mds 192.168.7.13 osd,mds 11、12、13分别增加一块100G硬盘/dev/sdb, 创建目录并分别挂载到/var/local/osd{0,1,2} 重...
centos7搭建mariadbgalera集群
04-25
好的，我了解了您的要求。关于您的问题，我可以给您提供一个简单的步骤： 1. 下载安装MariaDB和Galera，您可以在官方网站上下载。 2. 在每个节点上创建一个galera.cnf文件，文件中必须包含以下内容： [mysqld] binlog_format=ROW default-storage-engine=innodb innodb_autoinc_lock_mode=2 bind-address=0.0.0.0 wsrep_on=ON wsrep_provider=/usr/lib64/galera3/libgalera_smm.so wsrep_cluster_name="galera_cluster" wsrep_cluster_address="gcomm://node1_ip,node2_ip,node3_ip" wsrep_node_name="nodeX" wsrep_node_address="nodeX_ip" 3. 启动Galera集群中的第一个节点，并指定一个集群地址。例如： systemctl start mariadb service mysql start 4. 在其他节点上启动Galera。例如： systemctl start mariadb service mysql start 5. 检查您的Galera集群是否工作正常。您可以使用以下命令： mysql -u root -p -e "SHOW STATUS LIKE 'wsrep%';" 以上就是我可以给您提供的简单步骤。如果您有更多的问题，请随时提出。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值