9.Ceph部署

最新推荐文章于 2024-07-01 17:54:39 发布
最新推荐文章于 2024-07-01 17:54:39 发布
阅读量814 收藏
点赞数
分类专栏： 10.分布式 文章标签： ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56516338/article/details/131725269
版权

文章目录

Ceph部署

前期环境准备

主机名public网络cluster网络角色
admin192.168.242.69admin(管理节点)
node01192.168.242.66192.168.242.100.11mon、mgr、osd
node02192.168.242.67192.168.242.100.12mon、mgr、osd
node03192.168.242.68192.168.242.100.13mon、osd
client192.168.242.70client
####主机准备

为   node01   node02   node03    三台主机另外添加一张网卡和三个硬盘

###磁盘刷新

lsblk

如果在启动时添加磁盘，使用下面的命令刷新磁盘

echo "- - -" > /sys/class/scsi_host/host0/scan
echo "- - -" > /sys/class/scsi_host/host1/scan
echo "- - -" > /sys/class/scsi_host/host2/scan

####网卡设置

cd /etc/sysconfig/network-scripts/

cp ifcfg-ens32 ifcfg-ens33

###修改网卡配置文件，修改IP地址

vim ifcfg-ens33


systemctl restart network

###环境准备
###可选步骤：创建 Ceph 的管理用户


useradd cephadm
passwd cephadm

visudo
cephadm ALL=(root) NOPASSWD:ALL

####防火墙设置
####关闭 selinux 与防火墙


systemctl disable --now firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

####根据规划设置主机名
####在每一台主机上分别设置


hostnamectl set-hostname admin
hostnamectl set-hostname node01
hostnamectl set-hostname node02
hostnamectl set-hostname node03
hostnamectl set-hostname client

su

####在所有的主机上设置
####配置 hosts 解析

vim /etc/hosts

192.168.242.69 admin
192.168.242.66 node01
192.168.242.67 node02
192.168.242.68 node03
192.168.242.70 client

实验部署

软件安装

---所有主机---

###安装常用软件和依赖包

yum -y install epel-release

yum -y install yum-plugin-priorities yum-utils ntpdate python-setuptools python-pip gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel zip unzip ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5-devel libidn libidn-devel openssl openssh openssl-devel nss_ldap openldap openldap-devel openldap-clients openldap-servers libxslt-devel libevent-devel ntp libtool-ltdl bison libtool vim-enhanced python wget lsof iptraf strace lrzsz kernel-devel kernel-headers pam-devel tcl tk cmake ncurses-devel bison setuptool popt-devel net-snmp screen perl-devel pcre-devel net-snmp screen tcpdump rsync sysstat man iptables sudo libconfig git bind-utils tmux elinks numactl iftop bwm-ng net-tools expect snappy leveldb gdisk python-argparse gperftools-libs conntrack ipset jq libseccomp socat chrony sshpass

----admin----

###在admin管理节点配置  ssh  免密登陆其他所有节点

vim /etc/ssh/ssh_config

注释掉： StrictHostKeyChecking ask

将  ask     改为  no


ssh-keygen -t rsa

sshpass -p '123' ssh-copy-id root@admin
sshpass -p '123' ssh-copy-id root@node01
sshpass -p '123' ssh-copy-id root@node02
sshpass -p '123' ssh-copy-id root@node03

在这里插入图片描述

----所有主机---

###配置时间同步（一定要做）

systemctl enable --now chronyd
timedatectl set-ntp true					#开启 NTP
timedatectl set-timezone Asia/Shanghai		#设置时区
chronyc -a makestep							#强制同步下系统时钟
timedatectl status							#查看时间同步状态
chronyc sources -v							#查看 ntp 源服务器信息
timedatectl set-local-rtc 0					#将当前的UTC时间写入硬件时钟

###重启依赖于系统时间的服务
systemctl restart rsyslog 
systemctl restart crond


####关闭无关服务，邮箱服务
systemctl disable --now postfix

在这里插入图片描述

---所有主机---

###配置Ceph yum  源

wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate

rpm -ivh ceph-release-1-1.el7.noarch.rpm --force

---所有主机---

###执行完上面所有的操作之后重启所有主机（可选）

sync          ####同步操作
reboot        ####重启

部署Ceph集群

---所有主机---

####为所有节点都创建一个 Ceph 工作目录，后续的工作都在该目录下进行

mkdir -p /etc/ceph

---admin主机---

###安装 ceph-deploy 部署工具

cd /etc/ceph
yum install -y ceph-deploy


###查看版本
ceph-deploy --version

在这里插入图片描述

---admin---

####在管理节点为其它节点安装 Ceph 软件包

#ceph-deploy 2.0.1 默认部署的是 mimic 版的 Ceph，若想安装其他版本的 Ceph，可以用 --release 手动指定版本


####方法一
###下面的命令执行比较的慢，可以采用另外一种方式
cd /etc/ceph
ceph-deploy install --release nautilus node0{1..3} admin

###ceph-deploy install 本质就是在执行下面的命令：
yum clean all
yum -y install epel-release
yum -y install yum-plugin-priorities
yum -y install ceph-release ceph ceph-radosgw



###方法二
####也可采用手动安装 Ceph 包方式，在其它节点上执行下面的命令将 Ceph 的安装包都部署上：

sed -i 's#download.ceph.com#mirrors.tuna.tsinghua.edu.cn/ceph#' /etc/yum.repos.d/ceph.repo

yum install -y ceph-mon ceph-radosgw ceph-mds ceph-mgr ceph-osd ceph-common ceph

部署mon节点

---admin---

###在管理节点运行下述命令，告诉 ceph-deploy 哪些是 mon 监控节点
###生成初始配置

cd /etc/ceph

ceph-deploy new --public-network 192.168.242.0/24 --cluster-network 192.168.100.0/24 node01 node02 node03

###命令执行成功后会在 /etc/ceph 下生成配置文件

ls /etc/ceph
ceph.conf					#ceph的配置文件
ceph-deploy-ceph.log		#monitor的日志
ceph.mon.keyring			#monitor的密钥环文件

在这里插入图片描述

---admin---

###在管理节点初始化 mon 节点

cd /etc/ceph
ceph-deploy mon create node01 node02 node03			
#创建 mon 节点，由于 monitor 使用 Paxos 算法，其高可用集群节点数量要求为大于等于 3 的奇数台

ceph-deploy --overwrite-conf mon create-initial	
###如果mon节点配置文件与管理节点不一样，可以执行这个命令
###配置初始化 mon 节点，并向所有节点同步配置
### --overwrite-conf 参数用于表示强制覆盖配置文件


ceph-deploy gatherkeys node01						
###可选操作，向 node01 节点收集所有密钥

###命令执行成功后会在 /etc/ceph 下生成配置文件

ls /etc/ceph
ceph.bootstrap-mds.keyring			#引导启动 mds 的密钥文件
ceph.bootstrap-mgr.keyring			#引导启动 mgr 的密钥文件
ceph.bootstrap-osd.keyring			#引导启动 osd 的密钥文件
ceph.bootstrap-rgw.keyring			#引导启动 rgw 的密钥文件
ceph.client.admin.keyring			#ceph客户端和管理端通信的认证密钥，拥有ceph集群的所有权限
ceph.conf
ceph-deploy-ceph.log
ceph.mon.keyring

在这里插入图片描述

---node01节点---

###在 mon 节点上查看自动开启的 mon 进程

ps aux | grep ceph

在这里插入图片描述

---admin---

###在管理节点查看 Ceph 集群状态

cd /etc/ceph
ceph -s

###查看 mon 集群选举的情况

ceph quorum_status --format json-pretty | grep leader

在这里插入图片描述

####扩容 mon 节点
####横向扩展

ceph-deploy mon add <节点名称>

---admin---

###部署能够管理 Ceph 集群的节点（可选）
###可实现在各个节点执行 ceph 命令管理集群

cd /etc/ceph
ceph-deploy --overwrite-conf config push node01 node02 node03		
#向所有 mon 节点同步配置，确保所有 mon 节点上的 ceph.conf 内容必须一致

ceph-deploy admin node01 node02 node03			
#本质就是把 ceph.client.admin.keyring 集群认证文件拷贝到各个节点


---mom节点---

###在 mon 节点上查看

ls /etc/ceph
ceph.client.admin.keyring  ceph.conf  rbdmap  tmpr8tzyc

cd /etc/ceph
ceph -s

在这里插入图片描述

部署OSD存储节点

###node主机添加完硬盘后不要分区，直接使用

lsblk 

---admin---

####如果是利旧的硬盘，则需要先擦净（删除分区表）磁盘（可选，无数据的新硬盘可不做）

cd /etc/ceph
ceph-deploy disk zap node01 /dev/sdb
ceph-deploy disk zap node02 /dev/sdb
ceph-deploy disk zap node03 /dev/sdb

---admin---

###添加 osd 节点

ceph-deploy --overwrite-conf osd create node01 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdb

####查看 ceph 集群状态
ceph -s

####查看OSD状态
ceph osd stat
ceph osd tree
rados df



---admin---

ceph osd status    
###查看 osd 状态，需部署 mgr 后才能执行

ceph osd df    
###查看 osd 容量，需部署 mgr 后才能执行

---admin---

#扩容 osd 节点

cd /etc/ceph
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdd

###添加 OSD 中会涉及到 PG 的迁移，由于此时集群并没有数据，因此 health 的状态很快就变成 OK，如果在生产环境中添加节点则会涉及到大量的数据的迁移。

在这里插入图片描述

部署mgr节点

---admin---

####ceph-mgr守护进程以Active/Standby模式运行，可确保在Active节点或其ceph-mgr守护进程故障时，其中的一个Standby实例可以在不中断服务的情况下接管其任务。
###根据官方的架构原则，mgr至少要有两个节点来进行工作。


cd /etc/ceph
ceph-deploy mgr create node01 node02

ceph -s

在这里插入图片描述

####解决 HEALTH_WARN 问题：mons are allowing insecure global_id reclaim问题：
禁用不安全模式：
ceph config set mon auth_allow_insecure_global_id_reclaim false


####扩容 mgr 节点
ceph-deploy mgr create <节点名称>

---admin---

ceph osd status    
###查看 osd 状态，需部署 mgr 后才能执行

ceph osd df    
###查看 osd 容量，需部署 mgr 后才能执行

在这里插入图片描述

开启监控模块

---node01---

####在 ceph-mgr Active节点执行命令开启

ceph -s | grep mgr

yum install -y ceph-mgr-dashboard

cd /etc/ceph

ceph mgr module ls | grep dashboard

---node01---

####开启 dashboard 模块
ceph mgr module enable dashboard --force

####禁用 dashboard 的 ssl 功能
ceph config set mgr mgr/dashboard/ssl false

####配置 dashboard 监听的地址和端口
ceph config set mgr mgr/dashboard/server_addr 0.0.0.0
ceph config set mgr mgr/dashboard/server_port 8000

在这里插入图片描述

---node01---

####重启 dashboard
ceph mgr module disable dashboard
ceph mgr module enable dashboard --force

####确认访问 dashboard 的 url
ceph mgr services

####设置 dashboard 账户以及密码

echo "123" > dashboard_passwd.txt


###方法一（以被替换）
ceph dashboard set-login-credentials admin -i dashboard_passwd.txt
###方法二
ceph dashboard ac-user-create admin administrator -i dashboard_passwd.txt

###浏览器访问：http://192.168.242.66:8000 
###账号密码为 admin/123

在这里插入图片描述

管理pool

  • 上面我们已经完成了 Ceph 集群的部署，但是我们如何向 Ceph 中存储数据呢？
  • 首先我们需要在 Ceph 中定义一个 Pool 资源池。
  • Pool 是 Ceph 中存储 Object 对象抽象概念。我们可以将其理解为 Ceph 存储上划分的逻辑分区，Pool 由多个 PG 组成；而 PG 通过 CRUSH 算法映射到不同的 OSD 上；同时 Pool 可以设置副本 size 大小，默认副本数量为 3。
  • Ceph 客户端向 monitor 请求集群的状态，并向 Pool 中写入数据，数据根据 PGs 的数量，通过 CRUSH 算法将其映射到不同的 OSD 节点上，实现数据的存储。
  • 这里我们可以把 Pool 理解为存储 Object 数据的逻辑单元；当然，当前集群没有资源池，因此需要进行定义。
###创建一个 Pool 资源池，其名字为 mypool，P
###Gs 数量设置为 64，设置 PGs 的同时还需要设置 PGP（通常PGs和PGP的值是相同的）：
###PG (Placement Group)，pg 是一个虚拟的概念，用于存放 object
###PGP(Placement Group for Placement purpose)，相当于是 pg 存放的一种 osd 排列组合

cd /etc/ceph
ceph osd pool create mypool 64 64
  • PG数官方推荐：一个pool资源池内应该包含多少PG数
    • OSD总数 < 5 ，PG数推荐为128
    • 5 < OSD总数 < 10 ，PG数推荐为512
    • 10 < OSD总数 < 50 ，PG数推荐为4096
    • OSD总数 > 50 ，PG数推荐为( Target PGs per OSD ) x ( OSD # ) x ( %Data ) / ( Size )（取最接近2的次方值）
####查看集群 Pool 信息

ceph osd pool ls    或    rados lspools

ceph osd lspools    ###能查看到资源池的ID号

在这里插入图片描述

####查看资源池副本的数量

ceph osd pool get mypool size

###查看 PG 和 PGP 数量

ceph osd pool get mypool pg_num
ceph osd pool get mypool pgp_num

###修改 pg_num 和 pgp_num 的数量为 128

ceph osd pool set mypool pg_num 128
ceph osd pool set mypool pgp_num 128

ceph osd pool get mypool pg_num
ceph osd pool get mypool pgp_num

在这里插入图片描述

####修改 Pool 副本数量为 2

ceph osd pool set mypool size 2

ceph osd pool get mypool size

在这里插入图片描述

####修改默认副本数为 2


vim ceph.conf
......
osd_pool_default_size = 2

ceph-deploy --overwrite-conf config push node01 node02 node03

###重启服务

systemctl restart ceph-mon.target

在这里插入图片描述
在这里插入图片描述

####删除 Pool 资源池

###删除存储池命令存在数据丢失的风险，Ceph 默认禁止此类操作，需要管理员先在 ceph.conf 配置文件中开启支持删除存储池的操作


vim ceph.conf
......
[mon]
mon allow pool delete = true


###推送 ceph.conf 配置文件给所有 mon 节点

ceph-deploy --overwrite-conf config push node01 node02 node03


###所有 mon 节点重启 ceph-mon 服务

systemctl restart ceph-mon.target


###执行删除 Pool 命令

ceph osd pool rm pool01 pool01 --yes-i-really-really-mean-it

在这里插入图片描述

在这里插入图片描述

夜海赤竹
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
6. Ceph之ISCSI Gateway 部署
weixin_43357497的博客
02-01 1451
6. Ceph之ISCSI Gateway 部署 启用iscsi gateway需要满足以下条件： 正在运行的Ceph Luminous（12.2.x）集群或更高版本 CentOS 7.5（或更高版本）；Linux内核v4.16（或更高版本） 该ceph-iscsi软件包安装在所有iSCSI网关节点上 如果Ceph iSCSI网关未位于OSD节点上，则将位于中的Ceph配置文件/etc/ceph/从存储集群中正在运行的Ceph节点复制到iSCSI Gateway节点。Ceph配置文件必须存在于iSCSI网
ceph集群部署.doc
07-30
9. Ceph集群故障恢复：Ceph集群故障恢复包括故障诊断、故障恢复和数据恢复等。 10. Ceph集群升级：Ceph集群升级包括升级Ceph软件包、升级Ceph OSD和Ceph MDS等。 在本文中，我们将详细介绍Ceph集群部署的步骤和...
ceph部署及简单使用
weixin_43601042的博客
11-02 2104
以四台机器为例： 主机地址 主机名称 主机角色 192.168.100.30 ceph-admin admin 192.168.100.31 stor-01 mon, osd, mgr, mds 192.168.100.32 stor-02 mon, osd, mgr 192.168.100.33 stor-03 mon, osd, rgw ...
Ceph部署（超详细）
热门推荐
wangboyujiayou的博客
05-28 2万+
Ceph的部署工具： ceph-deploy：官方的部署工具 ceph-ansible：红帽的部署工具 ceph-chef：利用chef进行自动部署Ceph的工具 puppet-ceph：puppet的ceph模块 Public Network 192.168.200.161-164 Cluster Network 192.168.100.161-164 版本 Mimic 13版 部署前提 这是一个前提条件 关闭SELinux 关闭firewalld，并禁止开机自启 禁止开机自启 网卡 准备两块
Ceph初试
weixin_33896726的博客
05-12 149
2019独角兽企业重金招聘Python工程师标准>>> ...
[k8s] 解决报错: driver name rook-ceph.cephfs.csi.ceph.com not found in the list of registered CSI driver
Johnny的天空之城
02-12 2685
部署在某云平台的k8s集群，节点配置如下 尝试部署openebs/jiva 和 root/ceph 的CSI驱动都出现类似以下报错： MountVolume.MountDevice failed for volume "pvc-a7dfc3f5-e719-442d-82cd-68da52c568b2" : driver name rook-ceph.cephfs.csi.ceph.com not found in the list of registered CSI drivers 问题定位： 1 pl
1. Ceph Mimic部署
weixin_45012007的博客
04-02 444
CEPH部署 一 、 实验环境 1. 操作系统 1.1 系统版本 [root@node1 ~]# cat /etc/redhat-release CentOS Linux release 7.7.1908 (Core) 1.2 硬件信息 每个主机有一个数据盘sdb [root@node1 ~]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT s...
3. ceph-mimic版本部署
u010198709的博客
06-14 1345
该组件的出现主要是为了缓解ceph-monitor的压力，分担了moniotr的工作，例如插件管理等，以更好的管理集群。192.168.140.10 node01 ceph集群节点/ceph-deploy /dev/sdb。192.168.140.11 node02 ceph集群节点 /dev/sdb。ceph自L版本后，添加Ceph Manager Daemon，简称ceph-mgr。2、新节点安装ceph, ceph-radosgw软件。192.168.140.13 业务服务器。
ceph部署
gd0913的博客
06-05 222
我执行死活下载不下来，直接copy的。
ubuntu 22.04部署quincy版ceph
HaZ3876的博客
11-09 2619
ubuntu 22.04部署ceph
03 Ceph 部署文档.docx
04-16
Ceph 部署文档 本文档详细介绍了 Ceph 存储平台的部署过程，包括安装环境、配置 Ceph 源、做免密码认证、修改sudo配置、创建集群、安装软件包、初始化 mon 服务和准备 OSD 存储挂载目录等步骤。 知识点1：Ceph ...
ceph部署脚本.zip
01-05
一键部署Ceph集群的脚本，简单方便拿来就用，特别适合搭建Ceph集群的朋友们。 参考的博文是： https://feige.blog.csdn.net/article/details/112213451
ceph安装部署使用文档
12-24
2. 安装Ceph依赖：使用`sudo apt-get install -y ceph-deploy`或`yum install -y ceph-deploy`命令安装Ceph部署工具。 3. 设置防火墙规则：打开必要的端口，如6789（Mon）、8080（Dashboard）等，以允许Ceph服务通信...
Ceph 部署文档.md
07-10
ceph部署文档
CEPH client.admin key获取
本尔2008的博客
07-01 323
通过初始化完毕后，admin节点会在/etc/ceph目标下生成对应的配置文件和对应的key文件，通过ceph orch host add 增加的默认是没有的。给其它服务器也加上admin标签后，会自动更新/etc/ceph/没配置。如果很不幸admin节点挂了，怎么在其它节点使用ceph -s 命令呢。将/var/lib/ceph/{fsid}/mgr.x.xx中。默认使用的CLIENT_NAME是client.admin。解决方法也简单使用有权限看的CLIENT_NAME。ceph -s就可以使用了。
02_redis 数据库类型 和 增删改查 命令行管理工具.docx
07-04
02_redis 数据库类型 和 增删改查 命令行管理工具
银行用户管理系统-银行用户信息
最新发布
07-04
银行用户管理系统-银行用户信息txt文本
第四部分笔记.docx
07-04
第四部分笔记
ceph 部署nfs
05-11
可以在 Ceph 的 MON 节点上部署 NFS 网关，也可以在独立的节点上部署 NFS 网关。部署过程中需要指定一些参数，如网关的 ID、所使用的 Ceph 存储池等。 2. 创建 CephFS 文件系统 创建一个 CephFS 文件系统，并在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

夜海赤竹

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值