Centos7--ceph分布式存储，保姆级教程，多敲几遍熟能生巧！

最新推荐文章于 2024-03-18 17:37:46 发布

吸鱼徐

最新推荐文章于 2024-03-18 17:37:46 发布

阅读量2.5k

点赞数 12

分类专栏： Centos7--ceph分布式存储文章标签： ceph 分布式云计算

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/2302_77677224/article/details/130994111

版权

Centos7--ceph分布式存储专栏收录该内容

1 篇文章 0 订阅

订阅专栏

概述：

1、ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。（Ceph项目最早起源于Sage就读博士期间的工作，最早的成果于2004年发表，并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储）

Monitor （centos1）	IP:192.168.115.128
OSD （centos2）	IP:192.168.115.130
OSD （centos3）	IP:192.168.115.131
Client （centos4）	IP:192.168.115.132

目录

一、准备工作

1、关闭防火墙，关闭Selinux

2、关闭图形网络管理器

4、主机名修改

5、hosts文件修改

6、修改ssh配置

7、ssh免密配置

8、时间同步

9、添加磁盘

二、安装ceph

2、集群构建

1、创建集群目录

2、创建集群

3、修改配置文件

5、初始化monitor

6、同步管理信息

7、安装mgr（管理守护进程）

9、创建mds服务

10、OSD安装，创建OSD

11、查看集群状态

1、开启dashboard模块

2、生成签名

3、创建目录

4、生成证书

5、启动服务

6、设置访问地址与端口

7、关闭https

8、查看守护进程

9、设置管理面板登录凭证

10、登录面板

4、ceph文件系统创建

1、创建存储池

2、查看存储池

3、创建文件系统

4、查看文件系统

5、查看mds状态

三、客户端挂载

一、准备工作

1、关闭防火墙，关闭Selinux

systemctl stop firewalld        #停止

systemctl disable firewalld     #禁用

setenforce 0

2、关闭图形网络管理器

systemctl stop NetworkManager            #停止

systemctl disable NetworkManager         #禁用

3、配置IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33    #四台虚拟机依次更改
TYPE=Ethernet
BOOTPROTO=static
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.115.128
PTRFIX=24
GATEWAY=192.168.115.2
DNS1=192.168.115.2

    
systemctl restart network                         #重启网络

4、主机名修改

hostnamectl set-hostname centos1        #按顺序依次更改主机名

5、hosts文件修改

vim /etc/hosts                        #添加如下：

192.168.115.128    centos1
192.168.115.130    centos2
192.168.115.131    centos3
192.168.115.132    centos4

#传至其他虚拟机，并依次验证域名登录
scp /etc/hosts    192.168.115.130:/etc/hosts
scp /etc/hosts    192.168.115.131:/etc/hosts
scp /etc/hosts    192.168.115.132:/etc/hosts

#域名登录（每个节点主机都需要操作验证）
ssh centos1
ssh centos2
ssh centos3

6、修改ssh配置

sed -i "s/#UseDNS yes/UseDNS no/" /etc/ssh/sshd_config    #不使用DNS反向解析，加快SSH服务器连接速度

systemctl restart sshd    #重启服务

7、ssh免密配置

#centos1：
ssh-keygen                          #一直回车生成密钥对
ssh-copy-id 192.168.115.130         #传送公钥
ssh-copy-id 192.168.115.131
ssh-copy-id 192.168.115.132

#centos2：
ssh-keygen                          #一直回车生成密钥对
ssh-copy-id 192.168.115.128         #传送公钥
ssh-copy-id 192.168.115.131
ssh-copy-id 192.168.115.132

#centos3：    
ssh-keygen                          #一直回车生成密钥对
ssh-copy-id 192.168.115.128         #传送公钥
ssh-copy-id 192.168.115.130
ssh-copy-id 192.168.115.132

#centos4：
ssh-keygen                          #一直回车生成密钥对
ssh-copy-id 192.168.115.128         #传送公钥
ssh-copy-id 192.168.115.130
ssh-copy-id 192.168.115.131

8、时间同步

#centos1：
yum install -y ntp                #安装ntp

vim /etc/ntp.conf                 #配置
server 127.127.1.0                #定义时间服务器
fudge 127.127.1.0 stratum 8       #定义时间层次

systemctl start ntpd              #开启
systemctl enable ntpd             #开机自启

#centos2：
ntpdate 192.168.115.128           #同步centos1时间

#centos3：
ntpdate 192.168.115.128           #同步centos1时间

#centos4：
ntpdate 192.168.115.128           #同步centos1时间

9、添加磁盘

#新添加的磁盘扫描一下：
echo "- - -" > /sys/class/scsi_host/host0/scan       #扫描

lsblk                                                #查看

centos1..4：
mkfs.xfs /dev/sdb                                    #格式化成xfs

二、安装ceph

1、安装ceph

#以下操作全部在sentos1虚拟机操作：
yum install epel-release -y         #安装源
yum install lttng-ust -y            #安装跟踪工具
vim /etc/yum.repos.d/ceph.repo      #创建文件添加以下安装源
[Ceph]
name=Ceph packages for $basearch
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/x86_64/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

[Ceph-noarch]
name=Ceph noarch packages
# 清华源
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

[ceph-source]
name=Ceph source packages
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/SRPMS/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

wq    #保存退出

yum -y install ceph ceph-deploy        #安装ceph与ceph-deploy

2、集群构建

1、创建集群目录

mkdir -p /usr/local/soft/cephcluster    #创建目录

cd /usr/local/soft/cephcluster          #进入目录

2、创建集群

ceph-deploy new centos1 centos2 centos3

3、修改配置文件

[global]
fsid = 9172fba6-abe8-4328-b61b-abaf39ae43fd
mon_initial_members = centos1, centos2, centos3
mon_host = 192.168.115.128,192.168.115.130,192.168.115.131
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

#对外开放网段
public network = 192.168.115.0/24
# 设置pool池默认分配数量
osd pool default size = 2
# 容忍更多的时钟误差
mon clock drift allowed = 2
mon clock drift warn backoff = 30
# 允许删除pool
mon_allow_pool_delete = true
[mgr]
# 开启WEB仪表盘
mgr modules = dashboard

4、安装

ceph-deploy install centos1 centos2 centos3

5、初始化monitor

ceph-deploy mon create-initial

6、同步管理信息

ceph-deploy admin  centos1 centos2 centos3

7、安装mgr（管理守护进程）

ceph-deploy mgr create  centos1 centos2 centos3

8、安装rgw

ceph-deploy rgw create centos1 centos2 centos3

9、创建mds服务

ceph-deploy mds create centos1 centos2 centos3

10、OSD安装，创建OSD

ceph-deploy osd create --data /dev/sdb centos1

ceph-deploy osd create --data /dev/sdb centos2

ceph-deploy osd create --data /dev/sdb centos3

11、查看集群状态

ceph -s

3、dashboard

1、开启dashboard模块

ceph mgr module enable dashboard

2、生成签名

ceph dashboard create-self-signed-cert

3、创建目录

mkdir -p /usr/local/jx/cephcluster/mgr-dashboard

cd /usr/local/jx/cephcluster/mgr-dashboard

4、生成证书

openssl req -new -nodes -x509   -subj "/O=IT/CN=ceph-mgr-dashboard" -days 3650   -keyout dashboard.key -out dashboard.crt -extensions v3_ca

5、启动服务

ceph mgr module disable dashboard

ceph mgr module enable dashboard

6、设置访问地址与端口

ceph config set mgr mgr/dashboard/server_addr 192.168.115.128

ceph config set mgr mgr/dashboard/server_port 9001

7、关闭https

ceph config set mgr mgr/dashboard/ssl false

8、查看守护进程

ceph mgr services

9、设置管理面板登录凭证

ceph dashboard set-login-credentials jx123 123.com

10、登录面板

https://192.168.115.128:8443

4、ceph文件系统创建

1、创建存储池

ceph osd pool create cephfs_data 128

ceph osd pool create cephfs_metadata 64

2、查看存储池

 ceph osd lspools

3、创建文件系统

ceph fs new  fs_test  cephfs_metadata cephfs_data

4、查看文件系统

ceph fs ls

5、查看mds状态

ceph mds stat

三、客户端挂载

#centos1：
cd /usr/local/soft/cephcluster    #进入目录

ceph-deploy install centos4       #安装

ceph-deploy admin  centos4        #同步管理信息

#centos4：
ls  /etc/ceph                     #在客户端查看是否有ceph.client.admin.keyring

mkdir /ceph                       #创建挂载目录

yum -y install ceph-fuse          #安装

ceph-fuse -k /etc/ceph/ceph.client.admin.keyring -m 192.168.115.128:6789 /ceph #挂载ceph文件系统


df -hT                            #查看

下次见~

关注

12
点赞
踩
25

收藏

觉得还不错? 一键收藏
1
评论
Centos7--ceph分布式存储，保姆级教程，多敲几遍熟能生巧！

概述：1、ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。（Ceph项目最早起源于Sage就读博士期间的工作，最早的成果于2004年发表，并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储）
复制链接

扫一扫

专栏目录

吸鱼徐 CSDN认证博客专家 CSDN认证企业博客

码龄1年

18: 原创

129万+: 周排名

77万+: 总排名

7660: 访问

: 等级

236: 积分

432: 粉丝

43: 获赞

18: 评论

42: 收藏

私信

关注

热门文章

分类专栏

最新评论

Centos7--ceph分布式存储，保姆级教程，多敲几遍熟能生巧！
h j rong: ceph-deploy mgr create centos1 centos2 centos3这一步有问题 [centos1][DEBUG ] write cluster configuration to /etc/ceph/{cluster}.conf [centos1][DEBUG ] create path if it doesn't exist [ceph_deploy.mgr][ERROR ] OSError: [Errno 2] No such file or directory: '/var/lib/ceph/mgr/ceph-centos1' [centos2][DEBUG ] connected to host: centos2 [centos2][DEBUG ] detect platform information from remote host [centos2][DEBUG ] detect machine type
Centos7---Docker的安装与基础命令
CSDN-Ada助手: 恭喜您写了第17篇博客！标题为“Centos7---Docker的安装与基础命令”，我阅读了您的文章，发现您对Docker的安装和基础命令有着清晰的理解和描述。您的文章内容非常实用，对于想要学习和使用Docker的读者来说，一定会带来很大的帮助。在下一步的创作中，我建议您可以进一步探索Docker的高级用法和应用场景。例如，可以分享一些Docker容器的网络配置和数据卷的使用方法，以及如何构建自定义的Docker镜像等等。这些内容对于那些已经熟悉基础命令的读者来说，将会是一个很好的进阶指南。再次恭喜您，期待您未来更多的创作！谢谢您的分享！
K8s----Pod创建
CSDN-Ada助手: 恭喜您写下了第18篇博客，题为“K8s----Pod创建”。您在这篇博客中对Pod的创建进行了深入的探讨，内容丰富而详尽。非常感谢您分享这些宝贵的知识，对读者来说无疑是一份难得的学习资料。鉴于您在Kubernetes方面的专业知识，我希望您能进一步探索其他与Pod相关的主题，例如Pod的调度策略、监控和日志管理等。这将为读者提供更全面的了解，并加深对Kubernetes这一复杂系统的理解。再次感谢您的分享，期待着您未来更多的博客。希望您能继续保持谦逊的态度，以便我们能从中汲取更多的知识。
SQL语句查询数据
CSDN-Ada助手: 非常感谢您的第三篇博客，标题为“SQL语句查询数据”。您的文章对于想要学习SQL语句的读者来说是非常有用的。我们非常欣赏您的持续创作，希望您能够继续分享您的经验和知识。我们建议您可以考虑撰写一些高级的SQL语句查询技巧，或者分享一些实用的数据库管理经验。再次感谢您的分享！ CSDN 正在通过评论红包奖励优秀博客，请看红包流：https://bbs.csdn.net/?type=4&header=0&utm_source=csdn_ai_ada_blog_reply3，我们会奖励持续创作和学习的博主，请看：https://bbs.csdn.net/forums/csdnnews?typeId=116148&utm_source=csdn_ai_ada_blog_reply3
linux系统mysql数据库、数据表备份--计划任务
CSDN-Ada助手: 非常感谢您分享这篇关于linux系统mysql数据库、数据表备份的计划任务的博客。恭喜您已经写了第四篇博客，持续创作是非常重要的，您的努力不仅可以帮助更多的人，也可以让自己不断进步。希望您能够继续保持这样的创作热情，分享更多有价值的知识与经验。同时，建议您在接下来的创作中，可以逐渐深入探究一些具体的技术细节，或者分享一些实践案例，这样可以让读者更加深入地了解相关内容。再次感谢您的分享，期待您的下一篇博客！ CSDN 会根据你创作的前四篇博客的质量，给予优秀的博主博客红包奖励。请关注 https://bbs.csdn.net/forums/csdnnews?typeId=116148&utm_source=csdn_ai_ada_blog_reply4 看奖励名单。

您愿意向朋友推荐“博客详情页”吗？

强烈不推荐
不推荐
一般般
推荐
强烈推荐

提交

最新文章

目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。