ceph-ansible部署Ceph Pacific版本集群

已于 2023-03-05 16:34:21 修改
阅读量1.2k 收藏 2
点赞数
分类专栏： ceph 文章标签： ceph
于 2023-03-05 16:33:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43266367/article/details/129334898
版权

文章目录

环境规划

总共9个节点，3个mon节点，6个osd节点，每个osd节点3块50G的osd磁盘

主机名os角色public_ipcluster_iposd磁盘
ceph-mon-01.linux.ioubuntu20.04mon/mgr/deploy-node192.168.122.33192.168.200.2
ceph-mon-02.linux.ioubuntu20.04mon/mgr192.168.122.34192.168.200.2
ceph-mon-03.linux.ioubuntu20.04osd192.168.122.35192.168.200.2
ceph-osd-01.linux.ioubuntu20.04osd192.168.122.36192.168.200.2vdb/vdc/vdd
ceph-osd-02.linux.ioubuntu20.04osd192.168.122.37192.168.200.2vdb/vdc/vdd
ceph-osd-03.linux.ioubuntu20.04osd192.168.122.38192.168.200.2vdb/vdc/vdd
ceph-osd-04 .linux.ioubuntu20.04osd192.168.122.39192.168.200.2vdb/vdc/vdd
ceph-osd-05.linux.ioubuntu20.04osd192.168.122.40192.168.200.2vdb/vdc/vdd
ceph-osd-06.linux.ioubuntu20.04osd192.168.122.41192.168.200.2vdb/vdc/vdd

节点初始化设置

ssh免密

配置mon-01到所有节点的ssh免密

for i in {33..41};do ssh-copy-id 192.168.122.$i;done
主机名解析

在所有主机的/etc/hosts添加以下解析

192.168.122.33 ceph-mon-01.linux.io ceph-mon-01
192.168.122.34 ceph-mon-02.linux.io ceph-mon-02
192.168.122.35 ceph-mon-03.linux.io ceph-mon-03
192.168.122.36 ceph-osd-01.linux.io ceph-osd-01
192.168.122.37 ceph-osd-02.linux.io ceph-osd-02
192.168.122.38 ceph-osd-03.linux.io ceph-osd-03
192.168.122.39 ceph-osd-04.linux.io ceph-osd-04
192.168.122.40 ceph-osd-05.linux.io ceph-osd-05
192.168.122.41 ceph-osd-06.linux.io ceph-osd-06
时间同步

设置mon-01作为时间同步服务器，其他节点同步mon-01时间

在所有节点安装chrony

apt -y install chrony

修改mon-01节点chrony配置

# cat /etc/chrony/chrony.conf |grep -Ev '^#'

server ntp.aliyun.com iburst

keyfile /etc/chrony/chrony.keys

driftfile /var/lib/chrony/chrony.drift


logdir /var/log/chrony

allow 192.168.122.0/24

maxupdateskew 100.0

rtcsync

makestep 1 3

修改其它节点chrony配置

# cat /etc/chrony/chrony.conf |grep -Ev '^#'

server 192.168.122.33 iburst

keyfile /etc/chrony/chrony.keys

driftfile /var/lib/chrony/chrony.drift

logdir /var/log/chrony

maxupdateskew 100.0

rtcsync
makestep 1 3

所有节点启动chrony服务

systemctl restart chrony.service

验证时间同步状态

chronyc sources -v

在这里插入图片描述

关闭防火墙
ufw disable

部署ceph

下载ceph-ansible

ceph-ansible项目地址：https://github.com/ceph/ceph-ansible
ceph-ansible官方文档：https://docs.ceph.com/projects/ceph-ansible/en/latest/

安装Ceph Pacific需要使用ceph-asible stable-6.0分支，同时ceph-asible stable-6.0对ansible的版本要求是2.10往上
在这里插入图片描述

wget https://github.com/ceph/ceph-ansible/archive/refs/heads/stable-6.0.zip -O ceph-ansible-stable-6.0.zip
unzip ceph-ansible-stable-6.0.zip
cd ceph-ansible-stable-6.0
pip install -r requirements.txt	#这一步会安装ansible和其它依赖
修改配置文件

定义主机清单inventroy文件

cd ceph-ansible-stable-6.0/
vim hosts	#暂时只包含1个mon和5个osd节点，剩余的节点用于后边扩容测试
#################
[mons]
ceph-mon-01

[mgrs]
ceph-mon-0[1:3]

[osds]
ceph-osd-0[1:5]

[monitoring]
ceph-mon-0[1:3]
####################

修改ceph部署过程中需要使用的配置参数

cd ceph-ansible-stable-6.0/
cp group_vars/all.yml.sample group_vars/all.yml	
cp osds.yml.sample osds.yml	

vim group_vars/all.yml	#ceph全局配置参数
#######################
---
dummy:
mon_group_name: mons
osd_group_name: osds
rgw_group_name: rgws
mds_group_name: mdss
iscsi_gw_group_name: iscsigws
mgr_group_name: mgrs
monitoring_group_name: monitoring
#ceph安装方式设置,详细解释可以参考官网文档https://docs.ceph.com/projects/ceph-ansible/en/latest/installation/non-containerized.html
ceph_origin: repository
ceph_repository: community
ceph_mirror: https://mirrors.tuna.tsinghua.edu.cn/ceph/		#ceph安装源
ceph_stable_key: https://mirrors.tuna.tsinghua.edu.cn/ceph/keys/release.asc
ceph_stable_release: pacific	#ceph版本
ceph_stable_repo: "{{ ceph_mirror }}/debian-{{ ceph_stable_release }}"
monitor_interface: enp1s0	#ceph-mon节点服务监听网卡
monitor_address_block: 192.168.122.0/24	#ceph-mon节点服务监听地址所在网段
ip_version: ipv4
public_network: 192.168.122.0/24	#public-netework子网
cluster_network: 192.168.200.0/24	#cluster-network子网
osd_objectstore: bluestore		#osd使用的存储后端
dashboard_enabled: True		#启用ceph-dashboard
dashboard_admin_user: admin	#ceph-dashboard用户名和密码
dashboard_admin_password: Admin@123
grafana_admin_user: admin	#grafana用户名和密码
grafana_admin_password: admin
#######################

vim  group_vars/osds.yml	#osd相关配置参数
########################
---
dummy:
devices:	#每个节点上用作osd的磁盘
  - /dev/vdb
  - /dev/vdc
  - /dev/vdd
osd_auto_discovery: false	#关闭osd自动发现
#########################
执行部署
cd ceph-ansible-stable-6.0/
cp site.yml.sample site.yaml

ansible-playbook -i hosts site.yaml

等待playbook执行完成且无报错即可

在这里插入图片描述

验证集群状态

再mon-01节点执行ceph -s查看集群状态
在这里插入图片描述

这里存在一个警告，执行下面的命令，禁用mon节点不安全模式即可消除

ceph config set mon auth_allow_insecure_global_id_reclaim false

在这里插入图片描述

登录ceph-dashboard，https://192.168.122.33:8443

在这里插入图片描述

扩容mon节点

修改hosts文件，将新的mon节点，加入到对应的组中

cd ceph-ansible-stable-6.0/
vim hosts
##################
[mons]
ceph-mon-01
ceph-mon-02	#添加
ceph-mon-03 #添加

[mgrs]
ceph-mon-01
ceph-mon-02
ceph-mon-03

[osds]
ceph-osd-0[1:5]

[monitoring]
ceph-mon-0[1:3]
###################

执行扩容

cd ceph-ansible-stable-6.0/
ansible-playbook -i hosts infrastructure-playbooks/add-mon.yml

等待playbook执行完成后，查看集群状态，可以看到新的mon节点已经添加进去
在这里插入图片描述

扩容osd节点

修改hosts文件，将新的mon节点，加入到对应的组中

cd ceph-ansible-stable-6.0/
vim hosts
##################
[mons]
ceph-mon-01
ceph-mon-02
ceph-mon-03

[mgrs]
ceph-mon-01
ceph-mon-02
ceph-mon-03

[osds]
ceph-osd-0[1:5]
ceph-osd-06 #添加

[monitoring]
ceph-mon-0[1:3]
###################

执行扩容

cd ceph-ansible-stable-6.0/
ansible-playbook -vv -i hosts site.yaml --limit ceph-osd-06

等待playbook执行完成后，查看集群状态，可以看到新的osd已经添加进去

在这里插入图片描述
在这里插入图片描述

林凡修
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ceph-ansible部署ceph集群
qq_37181884的博客
07-26 856
1、每台集群上需要执行 yum -y install ansible python-netaddr unzip python36-six.noarch python36-PyYAML.x86_64 如果版本低于centos7.7，建议升级到7.9 yum -y install python3-pip pip3 install pecan pip3 install werkzeug
Ceph-集群安装记录（ansible版本）
Java小虎
10-31 1179
使用背景 ceph最近这两年挺火，打算尝试下它的块存储是怎么玩的，简单记录下 硬盘配置 1、集群需要用到OSD存储，OSD只支持物理卷 2、可使用cfdisk进行分区，先分好逻辑分区，再创建物理卷 3、集群中用作OSD的物理卷的机器，物理卷分区命名必须保持一致 部分配置命令 #卸载挂载点 umount /dev/sda5 #创建物理卷 pvcreate /dev/sda5 #检查物理卷 pvscan 配置主机名 1、配置永久静态主机名，主机配置为ceph1ceph3，客户机配置为client1cli
在 CentOS 8 上使用 Ansible 安装 Ceph
最新发布
nujnus9221的博客
05-22 178
你可以使用 ceph-ansible 这个专门的 Ansible 项目来安装 Ceph。通过以上步骤，你可以在 CentOS 8 上使用 Ansible 安装和配置 Ceph 集群。的 Inventory 文件，以定义目标主机（即将成为 Ceph 集群的节点）。确保你的管理机器上已经安装了 Ansible。确保选择一个与你的 Ceph 版本相匹配的分支。
ceph-ansible-5.0创建ceph集群
weixin_42340926的博客
01-10 727
ceph-ansible 5.0 优势：需要部署的节点数量越多，ceph-ansible的效率就越高 版本信息： ceph-ansible:5.0.5 ceph 15 os:centos 7.9.2009 kernel version:5.4.93-1.el7.elrepo.x86_64 集群拓扑 ceph-admin 192.168.200.120 192.168.100.120 ceph-node01 192.168.200.121 192.168.100.121 ceph-n
ceph-ansible安装指南-添加BlueStore
fq3758的博客
12-30 980
ceph的资料真是很少，摸索一断时间，将整理的一资料和操作经验分享。1、配置需要添加的OSD节点的配置文件 （如没有 host_vras文件夹，可自行创建）1、查看新增OSD节点的磁盘（本测试为三个data磁盘，三个DB磁盘，三个WAL磁盘）2、自行创建osd的配置文件 （注意，lv&vg的名称都要写入）_vg: ceph-block-0 #vg的名称。当使用相同速度的设备，就不需要独立的逻辑卷用于。卷可以随时扩展，方便在后续维护中按需调整。一、新增OSD节点操作。4、查看所有创建的VG。
ceph-ansible：Ansible手册，用于部署分布式文件系统Ceph
01-31
ceph-ansible：Ansible手册，用于部署分布式文件系统Ceph
ceph-ansible-4.0.62.tar.gz
07-27
已经配置好的ceph-ansible文件，直接修改ip地址即可
Ansible-ceph-ansible.zip
09-18
Ansible-ceph-ansible.zip,ansible playbooks部署ceph，分布式文件系统。ceph-ansible,ansible是一个简单而强大的自动化引擎。它用于帮助配置管理、应用程序部署和任务自动化。
ceph-ansible-4.0.5-1.el7.noarch.rpm
12-09
官方离线安装包，亲测可用
ceph-ansible-3.0.0-0.rc19.1.el7.noarch.rpm
12-09
官方离线安装包，亲测可用
Ceph-ansible 部署Ceph
会哭的雨@的博客
08-23 2485
简介：Ceph-ansible 部署Ceph 1、安装notario yum install -y python-pip pip install notario 这个包用yum装的版本是不符合要求的，需要使用pip进行安装 2、下载ceph-ansible的代码到本地 git clone https://github Ceph-ansible部署Ceph 1、安装notario [root@node1 ~]# yum install -y python-pip [root@n...
Ceph pacific版本nfs共享集群建设
weixin_42071407的博客
06-24 1293
ceph pacific 使用ganesha nfs共享
使用ceph-ansible完成ceph L版本的部署
二哈欢乐多的博客
02-27 1396
手动部署可以参考 https://blog.csdn.net/cojn52/article/details/91364299 ansible部署 或者https://blog.csdn.net/cojn52/article/details/86075769 也是 注意：关于部署多节点的ceph的问题： 1.其他节点需要向主控节点添加秘钥 2.每台主机都需要更新y...
干货｜基于Ansible的Ceph自动化部署解析
中兴开发者社区
11-06 5978
点击上方“中兴开发者社区”，关注我们 每天读一篇一线开发者原创好文 ▍作者简介 作者纪伯年16年毕业于哈工大，目前是中兴通讯的后端开发，专注于云计算与存储技术。平时喜欢学习一些相关领域的架构知识，并热衷于钻研精妙的算法与逻辑。      ▍背景介绍 当前项目中Ceph部署采用利用Ansible调用部署脚本的方式，Ceph部署部分文本分为两部分：Ceph配置部署脚本，Ansi
Ubuntu16.04安装cuda9.0
NeverFadeAway的博客
08-04 848
由于比赛需要，我和小伙伴给好几台机器都配置了cuda环境。安装cuda的时候虽然参考了很多教程，但也避免不了踩坑，因此总结了一个比较完善的方法。 1.更换linux内核 Ubuntu16.04一般都是4.15的内核，而cuda9.0不支持此版本的内核，因此需要更换为4.4版本。 (1)查看已安装的内核版本 dpkg -l | grep linux-image (2)查看当前使用的内核...
Ceph+RGW高可用部署方案
当你感觉累的时候，证明你正在走上坡路！
12-18 6285
基础环境准备配置主机名集群中节点采用统一命名规则即可配置hosts文件解析配置主机名与IP地址解析关系，每个配置完成后将文件拷贝到其他节点，每个节点都需要配置免秘钥登录配置ansible工具执行节点与其他节点的免秘钥登录，如果ansible执行节点也是ceph集群中的节点，也需要配置自身的免秘钥登录，配置方法不多说。Yum源配置目前使用的是阿里的源，使用起来还比较稳定，速度也还好，后期考虑把阿里源同
ansible一键部署脚本
weixin_33836223的博客
03-11 1018
一键部署rsync服务 [root@m01 conf]# cat /server/scripts/rsync.yaml # command playbook - hosts: 172.16.1.41 tasks: - name: setup01:install rsync yum: name: rsync sta...
2. Ceph的权限管理、RBD与Cephfs的挂载使用和MDS的高可用
xiaoyizi311的博客
08-26 2093
Ceph用户的权限管理及授权流程 Ceph使用Ceph X协议对客户端进行身份的认证 客户端与Mon节点的通讯均需要通过Cephx认证，可在Mon节点关闭Cephx认证，关闭认证后将允许所有访问，数据安全性无法保证 授权流程： 客户端发起认证请求到Mon节点 Mon节点返回用户身份认证的数据结构，包括Ceph服务的Session Key，通过客户端密钥对Session Key 数据进行加密，此密钥是客户端提前配置好的，在/etc/ceph/ceph.client.admin.keyring中
OpenStack Victoria 集群部署-接入ceph-pacific集群 - Ubuntu20.04
盲盒岛
04-19 468
==重点章节，花很多心血排查版本差异写的，因此粉丝可见，请见谅==1 前言2 openstack集群上的操作3 ceph集群上的操作3.1 创建openstack集群将要使用的pool3.2 ceph授权设置3.2.1 创建用户3.2.2 推送client.glance&client.cinder秘钥3.2.3 libvirt秘钥4 Glance集成Ceph4.1 配置glance-api.conf5 Cinder集成Ceph4.1 配置cinder.conf4.2 创建一个volume6 Nova
ceph-ansible如何部署
06-07
Ceph-ansible 是一个 Ansible-based 工具，用于自动化部署 Ceph 存储集群。下面是 Ceph-ansible 部署的基本步骤： 1. 配置 Ansible 环境：在部署 Ceph-ansible 之前，需要在管理节点上安装并配置 Ansible 工具。可以参考官方文档中 Ansible 部分的内容进行配置。 2. 准备集群环境：在准备集群环境时，需要为所有节点分配 IP 地址和主机名，并且确保所有节点之间可以通过 SSH 互相访问。可以使用 ssh-copy-id 命令将管理节点的 SSH 公钥复制到所有节点上，以简化 SSH 认证的过程。 3. 配置 ceph-ansible 工具：配置 ceph-ansible 工具需要修改 ceph-ansible 目录下的 inventory 文件，定义集群的组成和配置信息，如 OSD、MON、MGR 和 RGW 等。 4. 执行部署脚本：在配置完成后，可以执行部署脚本进行部署。可以使用 ceph-ansible 工具提供的 playbook 工具执行特定的部署任务，如创建 OSD、部署 MON 等。 5. 验证 Ceph 存储集群：在部署完成后，可以使用 ceph 命令行工具或者 Ceph Dashboard 等工具验证 Ceph 存储集群是否正常工作。可以使用 ceph -s 命令查看集群状态，并且使用 Ceph Dashboard 管理工具查看集群的详细信息。 这些是部署 Ceph-ansible 的基本步骤，具体操作可以参考 Ceph-ansible 官方文档中的内容进行配置和部署。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值