CEPH部署＋CEPH节点扩容+CEPH数据恢复实验

最新推荐文章于 2024-08-16 19:00:08 发布
置顶 最新推荐文章于 2024-08-16 19:00:08 发布
阅读量1k 收藏 3
点赞数
分类专栏： 群集架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42953006/article/details/105207971
版权

文章目录

一、环境介绍

centos 7.6
在这里插入图片描述

二、实验步骤

  1. ceph01节点和ceph02节点构建ceph集群
  2. 扩容ceph集群，将ceph03节点加入（扩容mon，osd）
  3. 模拟删除osd
  4. 恢复osd
  5. ceph常用命令（创建mgr服务，添加删除pool）

三、部署ceph集群

  • 三台主机关闭防火墙，安装常用工具
systemctl stop firewalld
systemctl disable firewalld
setenforce  0
yum  install wget  -y         ##安装下载工具
yum install net-tools  -y    ##解决最小化安装缺少ifconfig、route等命令
yum install bash-completion   -y ##解决最小化安装命令补全
yum install ntp ntpdate -y     ##安装时间同步工具
  • ceph01和ceph02修改hosts主机名映射
vi /etc/hosts
192.168.100.10  ceph01
192.168.100.11 ceph02
  • ceph01和ceph02做免密交互和时间同步
####在ceph01节点上执行免密交互
 ssh-keygen -t rsa 
 ssh-copy-id ceph02
 
###时间同步，在ceph01上执行
  ntpdate  ntp.aliyun.com    ##同步阿里云时间
  vi /etc/ntp.conf
  ##第8行改为 restrict default nomodify 
  ##第17行改为 restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap
  ##将21行到24行删除##
     21 server 0.centos.pool.ntp.org iburst
     22 server 1.centos.pool.ntp.org iburst
     23 server 2.centos.pool.ntp.org iburst
     24 server 3.centos.pool.ntp.org iburst
###删除的插入下面内容###
fudge 127.127.1.0 stratum 10    
server 127.127.1.0
##重启ntp服务
systemctl restart ntpd
systemctl enable ntpd


###在ceph02节点上执行
ntpdate ceph01
##做完后可以敲date查看ceph01和ceph02时间是否一致
date
  • ceph01和ceph02上配置ceph现网源
rm -rf /etc/yum.repos.d/*

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

vim /etc/yum.repos.d/ceph.repo
[ceph]
name=Ceph packages for
baseurl=https://mirrors.aliyun.com/ceph/rpm-mimic/el7/$basearch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[ceph-noarch]
name=Ceph noarch packages 
baseurl=https://mirrors.aliyun.com/ceph/rpm-mimic/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[ceph-source]
name=Ceph source packages 
baseurl=https://mirrors.aliyun.com/ceph/rpm-mimic/el7/SRPMS/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
  • 配置完成后在ceph01和ceph02上更新yum源
yum update -y
  • ceph01和ceph02安装ceph软件和配置工具
yum install ceph   -y

yum -y install ceph-deploy

yum -y install python-setuptools
  • 在ceph01上创建集群
cd /etc/ceph
ceph-deploy new ceph01 ceph02
  • 在ceph01上创建mon
cd /etc/ceph
ceph-deploy mon create-initial
  • 在ceph01上创建osd
cd /etc/ceph

ceph-deploy osd create --data /dev/sdb ceph01
ceph-deploy osd create --data /dev/sdb ceph02
  • 在ceph01上下发密钥
ceph-deploy admin ceph01 ceph02
  • 修改ceph01和ceph02的/ceph.client.admin.keyring权限
##ceph01和ceph02都执行
chmod +x /etc/ceph/ceph.client.admin.keyring
  • 查看ceph集群状态
ceph -s

在这里插入图片描述

四、集群扩容（将ceph03加入集群）

  • 修改3个节点的hosts文件
192.168.100.10  ceph01
192.168.100.11 ceph02
192.168.100.12  ceph03
  • 在ceph01上添加ceph03的免交互
ssh-copy-id ceph03
  • 修改ceph03的时间
ntpdate ceph01
  • 配置ceph03的ceph源
rm -rf /etc/yum.repos.d/*

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

vi /etc/yum.repos.d/ceph.repo
[ceph]
name=Ceph packages for
baseurl=https://mirrors.aliyun.com/ceph/rpm-mimic/el7/$basearch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[ceph-noarch]
name=Ceph noarch packages 
baseurl=https://mirrors.aliyun.com/ceph/rpm-mimic/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[ceph-source]
name=Ceph source packages 
baseurl=https://mirrors.aliyun.com/ceph/rpm-mimic/el7/SRPMS/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
  • 配置完成后在ceph03上更新yum源
yum update -y
  • ceph03安装ceph软件和配置工具
yum install ceph   -y

yum -y install ceph-deploy

yum -y install python-setuptools
  • 进入ceph01节点修改配置文件，并下发给ceph02和ceph03
vi /etc/ceph/ceph.conf
###修改
mon_initial_members = ceph01, ceph02, ceph03
mon_host = 192.168.100.10,192.168.100.11,192.168.100.12
##添加内部通信网段
public_network= 192.168.100.0/24
###下发配置给ceph02和ceph03
ceph-deploy --overwrite-conf admin ceph02 ceph03
  • 扩容osd和mon
##在ceph03上修改下发的配置文件权限
chmod +x /etc/ceph/ceph.client.admin.keyring
  
###进入ceph01节点
ceph-deploy osd create --data /dev/sdb ceph03   ##扩容osd
ceph-deploy mon add ceph03    ##扩容mon
  • 扩容完成后查看集群信息
ceph -s

在这里插入图片描述

五、OSD数据恢复

  • 查看osd信息
ceph osd tree

在这里插入图片描述

  • 模拟删除osd.2
ceph osd out osd.2
ceph osd crush remove osd.2
ceph auth del osd.2  ##删除osd.2的认证
systemctl restart ceph-osd.target     ##在ceph03上重启
ceph osd rm osd.2    ##彻底删除
  • 删除成功后查看osd信息
ceph osd tree

在这里插入图片描述

  • 恢复被删除的osd.2
    进入ceph03节点（因为osd.2在ceph03上）
df -hT    ##查看osd挂载情况
tmpfs          tmpfs     3.9G   52K  3.9G   1% /var/lib/ceph/osd/ceph-2

cd /var/lib/ceph/osd/ceph-2
more fsid               ###查看osd信息
490cb174-2126-4e00-818e-b395c761fdde      

 ##执行恢复
ceph osd create  490cb174-2126-4e00-818e-b395c761fdde     
ceph auth add osd.2 osd 'allow *' mon 'allow rwx' -i /var/lib/ceph/osd/ceph-2/keyring
ceph osd crush add 2 0.99899 host=ceph03
ceph osd in osd.2
  • 恢复完成后在ceph03上重启服务，查看osd信息
systemctl restart ceph-osd.target
ceph osd tree

在这里插入图片描述

六、ceph常用命令

创建mgr服务

ceph-deploy mgr create ceph01 ceph02 ceph03

在这里插入图片描述
创建pool

ceph osd pool create cinder 64   ##创建大小为64G的cinder池子

ceph osd pool create nova 64

ceph osd pool create glance 64

##查看pool信息
ceph osd pool ls
cinder
nova
glance

删除pool

进入ceph01节点

vi /etc/ceph/ceph.conf        ###添加删除权限
mon_allow_pool_delete=true

ceph-deploy --overwrite-conf admin ceph02 ceph03   ##下发配置给另外节点
systemctl restart ceph-mon.target  ###三个节点重启mon
ceph osd pool rm cinder cinder --yes-i-really-really-mean-it  ##删除cinder

修改pool名字

ceph osd pool rename cinder cinder01   ##将cinder改为cinder01
时光慢旅
关注
专栏目录
Ceph扩容节点（新服务器）
jjxws的博客
11-03 1368
Ceph扩容节点（新服务器） 1.修改所有节点hosts文件，添加新增节点192.168.1.33 vm33： [root@vm30 cluster]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain 192.168.0.30 node1 192.168.0.31 node2 192.168.0.32 node3 192.168.0.33 node4 2.在node4中添加ceph源： [root@node4 yum.repos.d]# c
Ceph节点扩容
BaXinFang的博客
02-18 704
ceph横向扩容与纵向扩容； 在线环境与离线环境； 包含扩容mgr、mds、mon节点操作。
Ceph数据恢复方案–分布式文件系统删除数据的恢复
最新发布
jinhaishuoX的博客
08-16 1171
Ceph数据恢复方案
实验环境 部署ceph集群 创建Ceph块存储
不忘初心
07-11 1690
1 案例1：实验环境 1.1 问题 准备四台KVM虚拟机，其三台作为存储集群节点，一台安装为客户端，实现如下功能： 创建1台客户端虚拟机创建3台存储集群虚拟机配置主机名、IP地址、YUM源修改所有主机的主机名配置无密码SSH连接配置NTP时间同步创建虚拟机磁盘1.2 方案 使用4台虚拟机，1台客户端、3台存储集群服务器，拓...
ceph集群节点扩容osd,rgw,mon,mgr
a13568hki的博客
02-03 1746
1、扩容节点 主节点操作，新增节点安装 cd /etc/ceph ceph-deploy install --no-adjust-repos node4 2、主节点操作，在ceph配置文件中添加新增节点rgw 的配置 vim ceph.conf [client.rgw.node4] rgw_frontends = "civetweb port=8899 num_threads=5000" 3、主节点操作，将配置文件发送到所有节点 ceph-deploy --overwrite-conf admin
CEPH概述及实验（CEPH部署及群集搭建+节点扩容+数据恢复）
weixin_45724795的博客
03-31 773
前言：CEPH是一个开源的项目，它是软件定义的、同一的存储解决方案。CEPH是一个可大规模扩展、高性能并且无单点故障的分布式存储系统。从一开始它就运行在通用的商用的硬件上，具有高度的可伸缩性，容量可扩展至EB界别，甚至更大 文章目录一、概述1.简述1）相关名词解释2. CEPH基础架构3. CEPH基础组件4. Ceph Clients5.CEPH存储过程二、实验1.环境介绍2.环境部署1）主机名...
ceph L版部署（8节点+缓存）.pdf
04-20
CEPH L版部署方法，真实服务器环境，带日志缓存加速，自己整理 OS版本：CentOS Linux release 7.4.1708 Ceph版本：Luminous 12.2.10 部署工具：ceph-deploy 2.0.1
对象存储单节点ceph环境部署，附移除osd并格式化osd所在磁盘脚本
02-19
3.运行 ceph_deploy.sh 脚本，部署【单节点】对象存储环境 4.检查系统状态 ceph -s 5.创建system用户 radosgw-admin user create 6.S3cmd 安装和配置 其他 ceph_rm_osd.sh用于移除osd并格式化osd所在磁盘
ceph安装部署使用文档
12-24
《Ceph安装部署使用文档》 Ceph是一个开源的分布式存储系统，提供对象存储、块存储和文件存储三种服务，广泛应用于云计算、大数据和高性能计算领域。本文档将详细介绍Ceph在不同节点上的安装、配置及管理过程。 一...
03 Ceph 部署文档.docx
04-16
在 OpenStack 平台上继续部署 Ceph 存储平台，使用四个节点，其中 controller 节点作为 Ceph 的部署节点，其他节点作为 mon 节点和 osd 节点。这种部署方式可以实现高可用性和分布式存储。 知识点2：配置 Ceph 源 ...
Centos7搭建CEPH集群运维测试与实验文档
01-18
最小化Centos系统搭建CEPH集群运维测试与实验文档，从安装到部署成功运行，注意系统版本为Centos7
【ceph】ceph生产常见操作之一---ceph扩容以及注意事项
zerotoall的博客
12-07 995
【ceph】ceph生产常见操作之一---ceph扩容以及注意事项 扩容过程主要分为4步（文档有具体描述）： （1）业务规模的评估 （2）扩容前的准备工作（包括环境的检查，pg数的计算，pg分布的统计） （3）扩容过程中的故障处理（mon、osd进程故障，pg状态异常故障） （4）扩容完的收尾动作（统计pg的分布图，调节迁移的速度等） 二、迁移过程中的状态详解 Remapped、backfill等 三、迁移速度调整
Ceph分布式存储实验
izhouc@sina.com
03-07 874
Ceph分布式存储 环境 实验： 步骤1：安装前准备 1）物理机为所有节点配置yum源服务器。 [root@room9pc01 ~]# yum -y install vsftpd [root@room9pc01 ~]# mkdir /var/ftp/ceph [root@room9pc01 ~]# mount -o loop \ rhcs2.0-rhosp9-...
ceph第一次实验
yanjun52015的博客
07-28 202
ceph分布式存储
Ceph分布式存储集群环境搭建以及节点扩容流程（三）
江晓龙的博客
05-15 1561
Ceph分布式存储集群环境搭建以及节点扩容流程 文章目录Ceph分布式存储集群环境搭建以及节点扩容流程1.Ceph分布式存储集群安装方式2.Ceph集群环境规划以及架构图2.1.Ceph集群规划2.2.Ceph集群部署架构图3.搭建Ceph分布式存储集群3.1.基础环境配置3.2.配置Ceph yum源3.3.安装Ceph-deploy自动化部署工具3.4.在ceph-node-1节点中安装Monitor组件3.4.1.首先初始化创建一个Ceph集群3.4.2.在ceph-node-1节点中部署Monito
ceph固化实验（一）
davidemiya的博客
08-27 428
最近学校项目组需求，要进行Ceph存储的固化，以便将来存储不会随着其他软件的升级而失效。 参考了ceph官方的文档：http://docs.ceph.org.cn/install/ 在虚拟机上进行小实验。 一、系统安装 虚拟机设置：1G内存，2核，50G硬盘（后面会报错，需要进行更改） Ubuntu14.04 Server（具体安装，这里不多说了，Ubuntu按照还是很便捷的，我这
Ceph入门实验笔记（1）-搭建、块存储、对象存储、文件系统的基本使用
crystonesc的专栏
08-30 904
前言：我是一个之前基本没有接触过Ceph的人，平时项目中只通过对象存储 S3 API向对象存储中存放数据，所以想学习下Ceph，网上许多文章都是从Ceph的原理讲起，对于没怎么实际操作和接触过的人来说比较抽象，故按照Ceph官网和Ceph Cookbook为蓝图进行Ceph集群的搭建，希望对Ceph有兴趣的朋友也可以跟着这个教程一步步来完成基本的搭建和使用操作。Ceph的搭建方式有很多种，本文选择了比较简单的Ceph deploy的方式，其它方式的部署请见Ceph官网。本文使用的Ceph集群版本如下：
Ceph存储集群实验---VMware版本42-47
weixin_45533230的博客
02-17 1550
一、创建一台虚拟机的步骤 《文件》–《新建虚拟机》—《自定义》----《稍后安装操作系统》— 安装时内存稍微大一点（1.5G 左右）—《网络类型》使用默认直接下一步剩下的步骤都使用默认值（直接点击下一步） 二、给虚拟机安装操作系统 《编辑虚拟机设置》----《CD|DVD》----《使用 iso》 浏览选择光盘iso 三、在 VMware 中创建虚拟网络 《编辑》----《虚拟网络编辑器》--...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值