kylinV10使用cephadm部署ceph15_octopus

已于 2024-07-29 16:04:56 修改
阅读量833 收藏 20
点赞数 31
文章标签： 运维 devops linux ceph
于 2024-07-29 11:22:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wsl12105/article/details/140765956
版权

使用cephadm部署ceph octopus

参考本文档前使用 cat /etc/os-release查看系统版本。

本文使用的版本如下
OS版本：

NAME=“Kylin Linux Advanced Server”
VERSION=“V10 (Sun)”
ID=“centos”
ID_LIKE=“kylin”
VERSION_ID=“8”
PLATFORM_ID=“platform:el8”
PRETTY_NAME=“Kylin Linux Advanced Server V10 (Sun)”
ANSI_COLOR=“0;31”
CPE_NAME=“cpe:/o:kylin:enterprise_linux:V10:GA”
HOME_URL=“http://www.kylinos.cn/”
BUG_REPORT_URL=“https://bugzilla.kylinos.cn/”

NEOKYLIN_BUGZILLA_PRODUCT=“Kylin Linux Advanced Server 10”
NEOKYLIN_BUGZILLA_PRODUCT_VERSION=V10
NEOKYLIN_SUPPORT_PRODUCT=“Kylin Linux Advanced Server”
NEOKYLIN_SUPPORT_PRODUCT_VERSION=“V10”

主机数量：3台

主机名：node1 node2 node3

Step 1

安装docker

执行以下命令安装依赖包：

yum install -y yum-utils \
           device-mapper-persistent-data \
           lvm2

鉴于国内网络问题，强烈建议使用国内源，官方源请在注释中查看。

执行下面的命令添加 yum 软件源：使用清华大学源

#用清华大学源
yum-config-manager \
    --add-repo \
    https://mirrors.ustc.edu.cn/docker-ce/linux/centos/docker-ce.repo

更换地址

sed -i 's+https://download.docker.com+https://mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo

安装 Docker CE

更新 yum 软件源缓存，并安装 docker-ce。

yum makecache
yum install docker-ce

启动Docker CE

systemctl enable docker
systemctl start docker

安装epel-release源

 wget https://mirrors.aliyun.com/epel/epel-release-latest-8.noarch.rpm
 rpm -ivh epel-release-latest-8.noarch.rpm

修改/etc/os-release

vim /etc/os-release 
NAME="Kylin Linux Advanced Server"
VERSION="V10 (Sun)"
ID="centos"   ###修改此行为centos
ID_LIKE="kylin"
VERSION_ID="8"   ###修改此行为8
PLATFORM_ID="platform:el8"
PRETTY_NAME="Kylin Linux Advanced Server V10 (Sun)"
ANSI_COLOR="0;31"
CPE_NAME="cpe:/o:kylin:enterprise_linux:V10:GA"
HOME_URL="http://www.kylinos.cn/"
BUG_REPORT_URL="https://bugzilla.kylinos.cn/"

NEOKYLIN_BUGZILLA_PRODUCT="Kylin Linux Advanced Server 10"
NEOKYLIN_BUGZILLA_PRODUCT_VERSION=V10
NEOKYLIN_SUPPORT_PRODUCT="Kylin Linux Advanced Server"
NEOKYLIN_SUPPORT_PRODUCT_VERSION="V10"

修改 2个地方如下：
ID=centos
VERSION_ID=8

如果不修改，执行cephadm命令会报错 ERROR: Distro kylin version v10 not supported

设置主机名

hostnamectl set-hostname node1  # 主机名称自定义

由于kylinV10 无法使用ceph-deploy部署且ceph-deploy只支持nautilus及之前的版本。而且该工具开发者已经不进行维护了。

从octopus及以后的版本都使用cephadm进行安装部署

ceph版本号

版本主版本号初始发行时间停止维护时间
Quincy172022-04-192024-06-01
Pacific162021-03-312023-06-01
Octopus152020-03-232022-06-01
Nautilus142019-03-192021-06-30
Mimic132018-06-012020-07-22
Luminous122017-08-012020-03-01

Step2

部署步骤
1、获取cephadm(node1操作)
# curl --silent --remote-name --location https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm
 或者
# wget https://gitee.com/wsl12105/ceph/releases/download/cephadm_octpus/cephadm
 
 chmod +x cephadm
 mv cephadm /usr/bin/
2、添加repo安装Octopus所需的软件包(node1操作)
cephadm add-repo --release octopus
cephadm install
3、引导集群(node1操作)
mkdir -p /etc/ceph
cephadm --docker bootstrap --mon-ip 192.168.1.1  #ip根据实际情况修改

该命令将：

  • 在本地主机上为新集群创建一个监视器和管理器守护程序。
  • 为 Ceph 集群生成一个新的 SSH 密钥并将其添加到 root 用户的/root/.ssh/authorized_keys文件中。
  • 将与新集群通信所需的最小配置文件写入/etc/ceph/ceph.conf.
  • client.admin将管理（特权！）密钥的副本写入/etc/ceph/ceph.client.admin.keyring.
  • 将公钥的副本写入 /etc/ceph/ceph.pub.

3.1如果ssh默认端口不是22请使用下面方式引导集群

创建ssh_config文件

cat > /root/.ssh/config << EOF
Host *
  User root
  Port 6022   #改成ssh端口
  StrictHostKeyChecking no
  UserKnownHostsFile /dev/null
  ConnectTimeout=30
EOF

## 给/root/.ssh/config 600权限
chmod 600 /root/.ssh/config

引导命令如下

cephadm  bootstrap --mon-ip 192.168.233.201 --ssh-config ssh_config

3.2引导完成后下面的内容务必记录下来

Ceph Dashboard is now available at:

	     URL: https://node1:8443/
	    User: admin
	Password: 1rxguvc8h5

You can access the Ceph CLI with:

	sudo /usr/bin/cephadm shell --fsid 7e1e6a1c-4b37-11ef-9eeb-000c29b16ad3 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring

Please consider enabling telemetry to help improve Ceph:

	ceph telemetry on

For more information see:

	https://docs.ceph.com/docs/master/mgr/telemetry/
4、安装ceph-common(node1操作)
cephadm install ceph-common

确认ceph命令可以正常使用

ceph -v
ceph status
5、将authorized_keys文件拷贝到node2和node3(node1操作)
ssh-copy-id -f -i /etc/ceph/ceph.pub root@node2
ssh-copy-id -f -i /etc/ceph/ceph.pub root@node3
6、在node2和node3上添加monitor
ceph orch host add node2
ceph orch host add node3
ceph orch apply mon node1,node2,node3

或者可以通过标签添加monitor

  • 先给主机添加标签(lable)

    ceph orch host label add node1 mon
ceph orch host label add node2 mon
ceph orch host label add node3 mon

  • 查看主机标签

    # ceph orch host ls
HOST   ADDR   LABELS   STATUS  
node1  node1  mon          
node2  node2  mon         
node3  node3  mon

  • cephadm根据标签添加monitor

    ceph orch apply mon label:mon

也可以通过yaml文件来部署

创建file.yaml内容如下

service_type: mon
placement:
  hosts:
   - host1 
   - host2
   - host3

然后执行下面命令：

# ceph orch apply -i file.yaml
7、部署OSD

所有集群主机上的存储设备清单可以通过以下方式显示

如果只列出一个或2个清等待1min再次查看

# ceph orch  device ls 
Hostname  Path      Type  Serial  Size   Health   Ident  Fault  Available  
node1     /dev/sdb  hdd           53.6G  Unknown  N/A    N/A    No         
node2     /dev/sdb  hdd           53.6G  Unknown  N/A    N/A    No         
node3     /dev/sdb  hdd           53.6G  Unknown  N/A    N/A    No

如果满足以下所有条件，则认为存储设备可用：

  • 设备不能有分区。
  • 设备不得具有任何 LVM 状态。
  • 不得安装该设备。
  • 设备不得包含文件系统。
  • 设备不得包含 Ceph BlueStore OSD。
  • 设备必须大于 5 GB。
  • 注意Available是Yes的，表示这个设备满足条件，可以安装成为OSD，如果是No表示设备已经是OSD了，或者设备无法安装OSD
  • 如果有node上硬盘无法列出来，请等待一会，如果还不行请使用磁盘工具转换磁盘type 为dos

分别从node1 node2 node3上部署OSD。

# ceph orch daemon add osd node1:/dev/sdb
#  ceph orch daemon add osd node2:/dev/sdb
#  ceph orch daemon add osd node3:/dev/sdb

查看osd状态

ceph osd tree
8、部署MDS

使用 CephFS 文件系统需要一个或多个 MDS 守护进程

# ceph orch apply mds cephfs --placement="node1:mds-daemon-1"
# ceph orch apply mds cephfs --placement="node2:mds-daemon-2"
# ceph orch apply mds cephfs --placement="node3:mds-daemon-3"
9、创建pool

一个 Ceph 文件系统至少需要两个 RADOS 池，一个用于数据，一个用于元数据

# ceph osd pool create cephfs_data  32
# ceph osd pool create cephfs_metadata  32
10、创建文件系统
# ceph fs new cephfs cephfs_metadata cephfs_data
11、node2 和node3 安装ceph-common
 yum install ceph-common
12、拷贝配置文件到node2 node3
scp -r /etc/ceph/ root@node2:/etc/
scp -r /etc/ceph/* root@node3:/etc/

node2 和node3上也可以使用ceph -s等命令查看ceph集群状态了

在这里插入图片描述
关注我成为更好的Linuxer

运维0到1
关注
  • 31
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
ceph安装部署使用文档
12-24
《Ceph安装部署使用文档》 Ceph是一个开源的分布式存储系统，提供对象存储、块存储和文件存储三种服务，广泛应用于云计算、大数据和高性能计算领域。本文档将详细介绍Ceph在不同节点上的安装、配置及管理过程。 一...
ceph_rpm.tar.gz
07-31
综上所述，"ceph_rpm.tar.gz" 文件包含了部署和管理Ceph存储集群所需的RPM软件包，适用于那些寻求强大、灵活且高度可靠的存储解决方案的组织。通过这个压缩包，用户可以便捷地在RPM兼容的Linux系统上安装Ceph，从而...
使用脚本和docker部署ceph集群
09-13
使用脚本和docker部署ceph集群. 不过得去每个机器上去指定执行一次(前提是先有docker, 并且有对应的docker- ceph镜像), 可以部署mon,osd,mgr,mds.这个是L版本的ceph, 支持多mds active. 也可以用ansible批量执行
分布式存储系统ceph-14.2.10-手动部署手册
11-19
本手册将指导您完成 Ceph 的手动部署和使用。 Ceph 概述 Ceph 是一个开源的分布式存储系统，由 Sage Weil、.Scott Brandt 和 Andrew Stribblehill 于 2004 年创建。Ceph 的主要特点是高可用性、可扩展性和高性能。...
ceph_common.tar.gz
07-31
10. **Cephadm**：是 Ceph 的现代部署和管理工具，用于简化集群的安装、升级和扩展。 在解压 `ceph_common.tar.gz` 后，用户可以找到安装 Ceph 客户端所需的库和工具，例如 `ceph-client` 包，它包含了 `ceph` ...
nodejs项目
weixin_70751365的博客
07-31 642
一、基于域名配置server一、基于域名配置server1.一个配置文件一般只有一个http模块2.一个http模块可以有多个server模块3.一个server模块就是一套web项目4.一个server模块中可以有多个location就是项目中的url路由第一步mkdir/zhangmin第二部echo第三步vim第三步http{server{listen80;第四步vim/etc/hosts10curl。
二进制部署k8s集群之master节点和etcd数据库集群（上）
zx52306的博客
07-30 927
【代码】二进制部署k8s集群之master节点和etcd数据库集群（上）
Docker容器下面home assistant忘记账号密码怎么重置？
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
07-30 276
docker ha。
微软：警惕利用VMware ESXi进行身份验证绕过攻击
FreeBuf_的博客
07-30 342
到目前为止，该漏洞已被被追踪为 Storm-0506、Storm-1175、Octo Tempest 和 Manatee Tempest 的勒索软件运营商在野外利用，并在攻击中部署了Akira和Black Basta勒索软件。虽然成功实施攻击需要对目标设备和用户交互具有高权限，但微软表示，已有几个勒索软件团伙利用漏洞完全掌控了管理员权限，窃取存储在托管虚拟机上的敏感数据，在受害者的网络中横向移动，并加密 ESXi 虚拟机管理程序的文件系统。以Storm-0506为例的ESXi 攻击链。
Linux 普通用户启动Nginx使用80端口，小于1024的端口
y393016244的博客
07-26 132
在root用户下执行。
vmware 设置ip
一路向前
07-30 586
上面操作都是用root身份进行操作的。一步一步操作下来，应该问题不大，注意手动配置ip那边是xshell连接的ip
Linux第四章课后作业（ssh）
一名混沌的大学生
07-30 161
【代码】Linux第四章课后作业（ssh）
制作镜像
weixin_70278423的博客
07-29 937
go+html+mysql+redis.zip go.mod go.sum info.sql Readme.md server（是编译好的二进制程序） server.go static templates。因为我们在内网的docker宿主机上远程连接到云服务器的mysql容器里，需要一个mysql的客户端工具，需要安装mariadb软件。#进入容器会进入这个目录，工作目录，在执行镜像的时候会自动创建--》家目录 ---》docker exec。
playbooks 分布式部署 LNMP
嫦娥妹妹等等我的博客
07-31 167
通过上述步骤，你可以使用Ansible自动化工具在多个服务器上分布式部署LNMP栈。这种方法确保了安装过程的一致性，并简化了大规模部署和管理的复杂性。
把Windows XP接入现在的互联网会怎么样？
bugsycrack的博客
07-30 289
其实现在有很多古老的系统比如前一阵报道的德国铁路系统还在使用DOS系统。根据 Statcounter 的统计，在我国 ，古老的WindowsXP 占到了所有 Windows 版本的 1.48%，如果有估算一亿台 Windows 机器的话，那么运行 XP 的机器仍然数有以百万计。安全专家测试接入现代互联网的WindowsXP在几小时内就观察到了八种不同的病毒/木马，一个 DNS 改变器，系统被添加了一个新的用户账号，黑客甚至还打开了 Internet Explorer。或者说，它被恶意程序入侵的速度有多快？
基于ip/域名/端口的server配置、nodej项目、部署nfs服务器
最新发布
weixin_70754025的博客
07-31 617
或者firewall-cmd --zone=pulic --add-ports=8080/tcp --permament && firewall-cmd --reload;--使用 kill -USR2 旧的nginx的master进程id，开辟了一个复制的线程。--查看旧的nginx进程，包含一个master和work进程的id。--kill-QUIT优雅推出旧的nginx的master进程。spring-boot3 ==>jdk17以上的版本。--kill-WINCH停用旧的nginx的子进程。
Linux安装Zabbix7.0并且使用外置Mysql数据库
峰哥IT-一个专业的互联网工作者
07-31 106
rpm。
Kubernetes存储 - Node本地存储卷
ComingLiu的博客
07-26 592
k8s存储
计算机网络面试题2
w75779的博客
07-29 372
WebSocket是一种基于TCP连接的全双工通信协议，即客户端和服务器可以同时发送和接收数据。
cephadm部署ceph集群
09-08
Cephadm是一种用于管理Ceph集群的工具，它可以通过在一个节点上引导一个微小的Ceph集群，然后自动将集群扩展到多个主机节点，来部署和管理整个Ceph集群的生命周期。Cephadm可以通过Ceph命令行界面（CLI）或仪表板（GUI）来执行。它通过manager daemon SSH连接到主机来部署和管理Ceph daemon containers，而不依赖于外部配置或编排工具，例如Ansible、Rook或Salt。对于Cephadm的部署，你可以按照以下步骤进行操作： 1. 首先，你需要进行节点规划，确定每个组件所在的主机IP和主机名。例如，你可以将cephadm、mon、mds、rgw、osd和mgr分别部署在不同的主机上。 2. 然后，你需要进行一些前期准备工作，例如配置主机名。 3. 接下来，你可以使用Cephadm工具来引导一个微小的Ceph集群，并逐步将其扩展到其他主机节点上。你可以使用Cephadm命令行界面或仪表板来执行这些操作。 请注意，Cephadm是在Octopus v15.2.0版本中引入的新功能，不支持旧版本的Ceph集群。因此，在部署Ceph集群之前，请确保你的Ceph版本符合要求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

运维0到1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值