分布式文件存储系统Ceph安装

最新推荐文章于 2024-07-09 21:54:52 发布
最新推荐文章于 2024-07-09 21:54:52 发布
阅读量366 收藏
点赞数
分类专栏： 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37024565/article/details/113706212
版权
本文详细介绍了Ceph分布式存储系统的安装过程，包括Ceph的介绍、集群搭建的准备工作，如修改主机名、配置YUM源、安装相关软件、时间同步等。还详细阐述了集群搭建的步骤，如创建集群、安装Monitor、Mgr、RGW和OSD等，并提到了Dashboard的安装和Cephfs的管理。
摘要由CSDN通过智能技术生成

1.1 Ceph介绍

​ Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。

对比说明TFSFASTDFSMooseFSGlusterFSCEPH
开发语言C++CCCC++
数据存储方式块文件/Trunk块文件/块对象/文件/块
在线扩容支持支持支持支持支持
冗余备份支持支持支持支持支持
单点故障存在不存在存在不存在不存在
易用性安装复杂，官方文档少安装简单，社区相对活跃安装简单官方文档专业化安装有一定复杂度
适用场景跨集群的小文件单集群的中小文件单集群的大中文件跨集群云存储单集群的大中小文件

​ Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。

Ceph特点：

CRUSH算法:Crush算法是ceph的两大创新之一，简单来说，ceph摒弃了传统的集中式存储元数据寻址的方案，转而使用CRUSH算法完成数据的寻址操作。CRUSH在一致性哈希基础上很好的考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等。Crush算法有相当强大的扩展性，理论上支持数千个存储节点。

高性能:Ceph中的数据副本数量可以由管理员自行定义，并可以通过CRUSH算法指定副本的物理存储位置以分隔故障域，支持数据强一致性； ceph可以忍受多种故障场景并自动尝试并行修复。

高扩展性:Ceph本身并没有主控节点，扩展起来比较容易，并且理论上，它的性能会随着磁盘数量的增加而线性增长。
	
特性丰富:Ceph支持三种调用接口：对象存储，块存储，文件系统挂载。三种方式可以一同使用。在国内一些公司的云环境中，通常会采用ceph作为openstack的唯一后端存储来提升数据转发效率。

中文学习网：http://docs.ceph.org.cn/

Ceph架构：
在这里插入图片描述

组件对象讲解：

RADOS:就是这样一个可用于PB级规模数据存储集群的可伸缩的、可靠的对象存储服务，可以理解成Ceph的整个存储对象，包括逻辑对象。

File:用户上传的文件

object:上传的文件被切成N个小文件块对象，RADOS的基本存储单元。

MDS:元数据的内存缓存，为了加快元数据的访问。

CRUSH：Ceph寻址算法，用于计算当前文件存储到哪个PG对应的OSD中。

PG:对object的存储进行组织和位置映射。具体而言，一个PG负责组织若干个object（可以为数千个甚至更多），但一个object只能被映射到一个PG中，即，PG和object之间是“一对多”映射关系。同时，一个PG会被映射到n个OSD上，而每个OSD上都会承载大量的PG，即，PG和OSD之间是“多对多”映射关系。

OSD:RADOS中的存储节点被称为OSD

架构图讲解：

1:文件上传，先将文件切片成N个object（如果开启了cephFS，可以使用MDS缓存）
2:切片后的文件object会存入到Ceph中
3:文件存储前，会经过CRUSH算法，计算当前文件存储归结于哪个PG
4:PG是逻辑概念上对文件存储范围划分的索引
5:根据PG索引将文件存储到指定服务器的OSD中

1.2 Ceph集群搭建

在这里插入图片描述

​ 集群结构如上图，server1作为主节点(Dashbaord、mon、mds、rgw、mgr、osd)，server2和server3作为子节点(mon、mds、rgw、mgr、osd)。

节点中信息说明：

dashbaord:Ceph可视化管理界面。
rgw:RADOSGW,Ceph对象网关,使客户端能够利用标准对象存储API来访问Ceph集群。
mgr:ceph-mgr，主要目标实现 ceph 集群的管理，为外界提供统一的入口。

节点信息：
server1:192.168.100.131
server2:192.168.100.132
server3:192.168.100.133
1.2.1 准备工作

1)机器名称修改（131、132、133都执行）

我们给每台机器一个别名192.168.100.131->CENTOS1,192.168.100.132->CENTOS2,192.168.100.133->CENTOS3。

修改192.168.100.131/etc/hostname，添加CENTOS1
在这里插入图片描述

修改192.168.100.(同上)/etc/hostname，添加CENTOS2(同上)

修改192.168.100.133/etc/hostname，添加CENTOS3(同上)

配置名字解析IP：分别修改131、132、133的/etc/hosts文件，添加如下映射：

192.168.100.131 CENTOS1
192.168.100.132 CENTOS2
192.168.100.133 CENTOS3

2)YUM源修改（131、132、133都执行）

这里采用清华镜像源，提升加载速度。

vi /etc/yum.repos.d/ceph.repo,添加如下内容：

[Ceph]
name=Ceph packages for $basearch
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/x86_64/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

[Ceph-noarch]
name=Ceph noarch packages
# 清华源
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

[ceph-source]
name=Ceph source packages
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/SRPMS/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

3)ceph与ceph-deploy安装（131）

更新yum源，并安装ceph和ceph-deploy，这个过程非常耗时间，执行如下命令：

yum update && yum -y install ceph ceph-deploy

注意：yum update和yum -y install python2-pip最好在每台机器都更新下yum。

安装过程中， 如果执行ceph-deploy出现ImportError: No module named pkg_resources,则需要安装python2-pip，执行yum -y install python2-pip安装即可。

如果遇到如下错误，安装下epel即可。

在这里插入图片描述

操作命令：(最好先执行该命令)

yum install epel-release -y
 
yum install lttng-ust -y

4)NTP时间同步工具（131执行）

为了保证时间同步，我们需要安装NTP时间同步工具：

yum install ntp ntpdate ntp-doc -y

设为开机启动：

systemctl enable ntpd

设置每隔1小时自动校准同步。编辑 vi /etc/rc.d/rc.local 追加：

/usr/sbin/ntpdate ntp1.aliyun.com > /dev/null 2>&1; /sbin/hwclock -w

配置定时任务, 执行crontab -e 加入：

0 */1 * * * ntpdate ntp1.aliyun.com > /dev/null 2>&1; /sbin/hwclock -w

5)免密配置（131、132、133都执行）

官方建议不用系统内置用户， 创建名为cuser用户， 密码也设为cuser：

useradd -d /home/cuser -m cuser
passwd cuser

设置sudo权限：(免密+只读权限)

echo "cuser ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cuser
sudo chmod 0440 /etc/sudoers.d/cuser

6)生成秘钥：（131执行）

切换用户： su cuser

执行ssh-keygen，一直按默认提示点击生成RSA密钥信息。

在这里插入图片描述

分发密钥至各机器节点

ssh-copy-id cuser@CENTOS1
ssh-copy-id cuser@CENTOS2
ssh-copy-id cuser@CENTOS3

在这里插入图片描述

修改管理节点上的 ~/.ssh/config （当前用户目录下的.ssh/config）文件， 简化SSH远程连接时的输入信息：

管理节点是会有root和cuser多个用户， ssh远程连接默认会以当前用户身份进行登陆， 如果我们是root身份进行远程连接， 还是需要输入密码，我们可以修改配置 使用root远程连接时也不用输入密码。

切换root身份，

su root

编辑config

vi ~/.ssh/config

添加如下内容：

Host CENTOS1
   Hostname CENTOS1
   User cuser
Host CENTOS2
   Hostname CENTOS2
   User cuser
Host CENTOS3
   Hostname CENTOS3
   User cuser

修改文件权限：

chmod 600 ~/.ssh/config

禁用SELINUX：

vi /etc/selinux/config

SELINUX=disabled
1.2.2 集群搭建

安装集群，用root安装，可以避免很多权限问题。

1)创建集群管理目录，作为ceph配置信息存储目录。

mkdir -p /usr/local/gupao/cephcluster

cd /usr/local/gupao/cephcluster

2)创建集群

ceph-deploy new CENTOS1  CENTOS2 CENTOS3

创建成功后， 会生配置文件和秘钥信息。
在这里插入图片描述

3)修改配置文件

编辑ceph.conf文件vi /usr/local/gupao/cephcluster/ceph.conf，添加如下配置：

#对外开放网段
public network = 192.168.100.0/24
# 设置pool池默认分配数量
osd pool default size = 2
# 容忍更多的时钟误差
mon clock drift allowed = 2
mon clock drift warn backoff = 30
# 允许删除pool
mon_allow_pool_delete = true
[mgr]
# 开启WEB仪表盘
mgr modules = dashboard

注意：Pool是存储对象的逻辑分区，它规定了数据冗余的类型和对应的副本分布策略。

完整内容如下：

在这里插入图片描述

文件修改后执行安装（131执行），此时3台机器都会执行安装执行如下安装命令：

ceph-deploy install  CENTOS1  CENTOS2 CENTOS3

如果出现ceph_deploy][ERROR ] RuntimeError: Failed to execute command: ceph --version错误，可以直接在每个节点单独执行yum -y install ceph进行单独安装。如果没有仓库文件ceph.repo， 按上面的步骤手工创建。

4)初始化Monitor信息

ceph-deploy mon create-initial

此时会生成很多秘钥文件信息

在这里插入图片描述

5)同步管理信息

ceph-deploy admin  CENTOS1  CENTOS2 CENTOS3

6)安装mgr(管理守护进程)

ceph-deploy mgr create CENTOS1  CENTOS2 CENTOS3

7)安装rgw

ceph-deploy rgw create CENTOS1 CENTOS2 CENTOS3

mds服务：

ceph-deploy mds create CENTOS1 CENTOS2 CENTOS3

注意：任意一个环节安装失败了，需要卸载重装：

ceph-deploy purge CENTOS1 CENTOS2 CENTOS3
ceph-deploy purgedata CENTOS1 CENTOS2 CENTOS3
ceph-deploy forgetkeys

将三台节点的mon信息也删除：

rm -rf /var/run/ceph/

如果出现错误：

ceph_deploy][ERROR ] RuntimeError: Failed to execute command: ceph --version

可以在各节点上单独进行安装：

yum -y install ceph

8)OSD安装

OSD服务是对象存储守护进程， 负责把对象存储到本地文件系统， 必须要有一块独立的磁盘作为存储。如果没有独立磁盘，怎么办？ 可以在Linux下面创建一个虚拟磁盘进行挂载。

添加磁盘:

执行fdisk -l查看磁盘信息如下，我们需要添加一个磁盘，直接用VMware添加即可。

在这里插入图片描述

使用VMware选择设置->硬盘->添加，如下图：

在这里插入图片描述

一直点击下一步，设置磁盘空间大小为10G即可。操作完后重启虚拟机，并输入fdisk -l查看磁盘信息如下，明显多了/dev/sdb 10G大小。

在这里插入图片描述

执行创建OSD命令：(注意，每条命令都是在131中执行，不要在每台机器中单独执行)

ceph-deploy osd create --data /dev/sdb CENTOS1

ceph-deploy osd create --data /dev/sdb CENTOS2

ceph-deploy osd create --data /dev/sdb CENTOS3

在这里插入图片描述

Monitor查看

在/usr/bin下执行./ceph -s可以查看集群状态。

在这里插入图片描述

可以执行ntpdate ntp1.aliyun.com同步各个节点的时间。

如果出现如下情况，执行systemctl restart ceph.target重启每个节点即可（131,132,133都执行）。
在这里插入图片描述

1.2.3 dashboard安装

​ Ceph 提供了原生的Dashboard功能，通过Dashboard可以获取Ceph集群的各种基本状态信息。我们接下来安装一下Dashboard，并使用它的功能。

1)开启dashboard模块

ceph mgr module enable dashboard

2)生成签名

ceph dashboard create-self-signed-cert

3)创建目录

mkdir -p /usr/local/gupao/cephcluster/mgr-dashboard

4)生成密钥对

openssl req -new -nodes -x509   -subj "/O=IT/CN=ceph-mgr-dashboard" -days 3650   -keyout dashboard.key -out dashboard.crt -extensions v3_ca

在这里插入图片描述

5)启动dashboard

ceph mgr module disable dashboard
ceph mgr module enable dashboard

6)设置IP与PORT

ceph config set mgr mgr/dashboard/server_addr 192.168.100.131
ceph config set mgr mgr/dashboard/server_port 9001

7)关闭HTTPS

ceph config set mgr mgr/dashboard/ssl false

8)查看服务信息

ceph mgr services

在这里插入图片描述

9)设置管理员账号密码

ceph dashboard set-login-credentials admin admin

10)访问<https://192.168.100.131:8443/#/dashboard>
在这里插入图片描述

11)RGW访问

访问 http://192.168.100.131:7480/ 效果如下：

在这里插入图片描述

1.3 Cephfs管理

集群创建完后， 默认没有文件系统， 我们创建一个Cephfs可以支持对外访问的文件系统。

1）创建两个存储池, 执行两条命令：

ceph osd pool create cephfs_data 128
ceph osd pool create cephfs_metadata 64

少于5个OSD可把pg_num设置为128

OSD数量在5到10，可以设置pg_num为512

OSD数量在10到50，可以设置pg_num为4096

OSD数量大于50，需要计算pg_num的值

通过下面命令可以列出当前创建的存储池：

ceph osd lspools

2）创建fs, 名称为fs_test:

ceph fs new fs_test cephfs_metadata cephfs_data

3）状态查看， 以下信息代表正常

ceph fs ls：

name: fs_test, metadata pool: cephfs_metadata, data pools: [cephfs_data ]

ceph mds stat:

fs_test-0/0/1 up

4）fuse挂载

先确定ceph-fuse命令能执行， 如果没有， 则安装：

 yum -y install ceph-fuse

创建挂载目录

mkdir -p /usr/local/gupao/cephfs_directory

挂载cephfs

ceph-fuse -k /etc/ceph/ceph.client.admin.keyring -m 192.168.100.131:6789 /usr/local/gupao/cephfs_directory

出现下面信息表示挂载成功了：

ceph-fuse[28003]: starting fuse

5）挂载信息查看

[root@CENTOS1 cephcluster]# df -h
Filesystem               Size  Used Avail Use% Mounted on
devtmpfs                 4.1G     0  4.1G   0% /dev
tmpfs                    4.1G     0  4.1G   0% /dev/shm
tmpfs                    4.1G   20M  4.1G   1% /run
tmpfs                    4.1G     0  4.1G   0% /sys/fs/cgroup
/dev/mapper/centos-root   17G  2.0G   16G  12% /
/dev/sda1               1014M  189M  826M  19% /boot
tmpfs                    4.1G   28K  4.1G   1% /var/lib/ceph/osd/ceph-0
tmpfs                    838M     0  838M   0% /run/user/0
ceph-fuse                 13G     0   13G   0% /usr/local/gupao/cephfs_directory
「已注销」
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
在 CentOS 7.1 上安装分布式存储系统 Ceph（转）
极客海哥
11-14 1243
关于 Ceph 的介绍网上一大堆，这里就不重复了。Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统，最初是奔着高性能分布式文件系统去的，结果云计算风口一来，Ceph 重心转向了分布式块存储（Block Storage）和分布式对象存储（Object Storage），现在分布式文件系统 CephFS 还停在 beta 阶段。Ceph 现在是云计算、虚拟机部署的最火开源存储解决方案，据
linux 分布式存储 软件,Ceph分布式存储系统
weixin_33164837的博客
05-07 813
Ceph是根据加州大学Santa Cruz分校的Sage Weil的博士论文所设计开发的新一代自由软件分布式文件系统，其设计目标是良好的可扩展性(PB级别以上)、高性能及高可靠性。Ceph其命名和UCSC(Ceph 的诞生地)的吉祥物有关，这个吉祥物是“Sammy”，一个香蕉色的蛞蝓，就是头足类中无壳的软体动物。这些有多触角的头足类动物，是对一个分布式文件系统高度并行的形象比喻。其设计遵循了三个原...
【分布式系统】ceph部署（命令+截图巨详细版）
最新发布
F12138X的博客
07-09 1886
每个人都想把手伸向夜空，去捕捉那属于自己的星星，但极少有人能真正地知道自己的星星在哪个位置
开源分布式存储软件Ceph
weixin_33964094的博客
09-04 756
2019独角兽企业重金招聘Python工程师标准>>> ...
Ceph 存储安装
wubude的博客
08-24 353
ceph是一个分布式文件，提供对象存储，快存储，文件系统存储。 组件： （1）MON：监视器。MON通过保存一系列集群状态map来监视集群的组件。MON因为保存集群状态，要防止单点故障，所以需要多台；另外，MON需要是奇数，如果出现意见分岐，采用投票机制，少数服从多数。 （2）OSD：对象存储设备。真正存储数据的组件。一般来说，每块参与存储的磁盘都需要一个OSD进程。 （3）MDS：元数据...
分布式运用——存储系统Ceph
weixin_67300995的博客
07-14 4346
Ceph是一个开源的分布式存储解决方案，旨在提供可扩展性、高性能和强大的数据可靠性。它采用了一种分布式对象存储架构，能够同时提供块存储和文件存储的功能。本篇博客将深入探索Ceph的原理、特性和应用场景，帮助读者更好地理解和使用这一强大的存储解决方案。Ceph使用C++语言开发，是一个开放、自我修复和自我管理的开源分布式存储系统。具有高扩展性、高性能、高可靠性的优点。Ceph目前已得到众多云计算厂商的支持并被广泛应用。
分布式文件存储ceph集群部署文档
04-20
Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统，根据文档可以部署一个可横向无限扩展的cehp存储
ceph-ansible：Ansible手册，用于部署分布式文件系统Ceph
01-31
**Ceph分布式文件系统与Ansible自动化部署** Ceph是一个高度可扩展的、开源的分布式存储系统，旨在提供数据持久性、可靠性和高性能。它支持多种数据存储模式，包括对象存储、块存储和文件系统（CephFS）。Ceph的...
IBM 分布式文件系统 CEPH 介绍
08-21
### IBM 分布式文件系统 CEPH 介绍 #### 概述 IBM 分布式文件系统 CEPH 是一种高性能、可扩展的分布式文件系统，它由 Sage A. Weil、Scott A. Brandt、Ethan L. Miller、Darrell D. E. Long 和 Carlos Maltzahn 在...
在CentOS 7.1 上安装分布式存储系统 Ceph
11-28
Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统，最初是奔着高性能分布式文件系统去的，结果云计算风口一来，Ceph 重心转向了分布式块存储（Block Storage）和分布式对象存储（Object Storage），现在分布式...
ceph分布式存储解说
04-05
文件存储，如Ceph的CephFS和GlusterFS，提供了类似于传统文件系统的访问方式，支持并行化访问和冗余机制，适合存储非结构化的数据，如文本文件、图像和视频。GlusterFS是一个开源的分布式文件系统，通过网络连接廉价...
ceph-fuse-14.2.9-1.el7.x86_64.rpm
12-09
官方离线安装包，亲测可用
分布式文件存储-FastDFS环境安装
小猴子的博客
04-12 268
1.1 准备 操作环境CentOS 6.4 将所有的下载文件到放到package包下，统一管理 1.2 下载安装 libfastcommon 1.下载libfastcommon # wget https://github.com/happyfish100/libfastcommon/archive/V1.0.38.tar.gz 2.解压文件 # tar -zxvf V1.0.38.tar.gz # cd libfastcommon-1.0.38 3.编译安装 # ..
Ceph分布式存储系统
niekai01的博客
09-12 7981
Ceph是根据加州大学Santa Cruz分校的Sage Weil的博士论文所设计开发的新一代自由软件分布式文件系统，其设计目标是良好的可扩展性(PB级别以上)、高性能及高可靠性。Ceph其命名和UCSC（Ceph 的诞生地）的吉祥物有关，这个吉祥物是“Sammy”，一个香蕉色的蛞蝓，就是头足类中无壳的软体动物。这些有多触角的头足类动物，是对一个分布式文件系统高度并行的形象比喻。 其设计遵循了三个
Glusterfs 分布式存储安装部署
破茧
08-29 2726
Glusterfs 分布式存储安装部署   Glusterfs 分布式存储部署 是存储当中可以选择的一种 现在很多虚拟化 云计算都在用软件存储 例如 ceph Glusterfs 等等 今天我们部署一下Glusterfs环境   GlusterFs安装   环境信息：          Glusterfs-01                          10.20.0...
ceph分布式存储简介
Not Found 404
11-26 3482
文章目录分布式存储RADOS组件1. Monitors2. Managers3. Ceph OSDs4. MDSs数据抽象接口（ 客户端中间层）CEPH FILESYSTEMCEPH BLOCK DEVICECEPH OBJECT GATEWAY管理节点（ Admin Host）Ceph FeaturesFileStore and BlueStoreFILESTOREBLUESTOREBlueSt...
ceph-deploy 安装报错 wget 安装
mixboot
02-22 317
ceph-deploy 安装报错1.ceph-deploy 安装报错2.wget 没有正常安装 1.ceph-deploy 安装报错 # ceph-deploy install k021 [k021][INFO ] installing Ceph on k021 [k021][INFO ] using custom repository location: http://mirrors.163.com/ceph/debian-mimic/ [k021][INFO ] Running command:
Ceph 基础入门
西京刀客
04-17 7827
Ceph 快速开始 一、什么是Ceph? 官网： https://docs.ceph.com/docs/master/ http://docs.ceph.org.cn/ Ceph架构介绍 参考URL: https://www.cnblogs.com/passzhang/p/12148933.html 干货｜非常详细的 Ceph 介绍、原理、架构 参考URL: https://blog.csdn.n...
【CEPH-初识篇】Ceph 详细介绍，一篇解决 Ceph 集群搭建， 三大存储使用
持续分享，个人的运维经验，包含：云计算、Linux、Windows、容器、K8s、CICD、Python、运维开发、公有云等；以及个人经历相关内容，包含：实习、面试经验等。
06-04 8727
你好，我是无名小歌。 今天给大家分享一个分布式存储系统ceph。什么是ceph？ Ceph在一个统一的系统中独特地提供对象存储、块存储和文件存储。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值