Ceph 安装部署

最新推荐文章于 2024-02-01 14:48:39 发布
最新推荐文章于 2024-02-01 14:48:39 发布
阅读量701 收藏 3
点赞数
分类专栏： ceph存储 文章标签： ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/geekmanong/article/details/103341558
版权

Ceph 安装部署

为保证一个干净的安装环境，需要重置workstation的网络环境，并重新设置nat和hostonly网卡的ip范围。

在这里插入图片描述

安装环境：

VMware Workstation 虚拟机
CentOS 7

安装准备

本次实验仅安装1台管理机和1台存储。

Ceph-Mon：向客户端提供集群的完整视图

Ceph-Osd：ceph集群中最多的节点，存储节点

网络规划

Public 网段 192.168.200.101-102 ，nat网卡（ens33），供客户端使用
Cluster 网段 192.168.100.101-102 ，hostonly网卡(ens34)，供ceph内部通信

初始虚拟机配置

在这里插入图片描述

  • 虚拟机准备两块网卡，默认的NAT+HostOnly

  • 设置网卡，然后删除掉网卡配置中的UUID属性

    #vi /etc/sysconfig/network-scripts/ifcfg-ens33
...
  BOOTPROTO=static
...
  ONBOOT=yes
  IPADDR=192.168.200.100
  NETMASK=255.255.255.0
  GATEWAY=192.168.200.2
  DNS1=114.114.114.114
  DNS2=8.8.8.8

# vi /etc/sysconfig/network-scripts/ifcfg-ens34
...
  BOOTPROTO=static
...
  DEVICE=ens34
  ONBOOT=yes
  IPADDR=192.168.100.100
  NETMASK=255.255.255.0

  • 关闭防火墙与SeLinux

    systemctl status firewalld.service #查看防火墙状态
systemctl stop firewalld.service #关闭防火墙
systemctl disable firewalld.service # 防止开机后防火墙启动

getenforce # 查看selinux状态
# vi /etc/sysconfig/selinux # 把文件中的SELINUX=enforcing 改为 disabled 即可
setenforce 0 # 关闭当前selinux

  • 配置ceph源

    #vi /etc/yum.repos.d/ceph.repo
[Ceph]
name=Ceph packages for $basearch
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/$basearch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc

[Ceph-noarch]
name=Ceph noarch packages
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc

[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/SRPMS
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc

  • 配置EPEL源

    #vi /etc/yum.repos.d/epel.repo

[epel]
name=Extra Packages for Enterprise Linux 7 - $basearch
baseurl=http://mirrors.aliyun.com/epel/7/$basearch
failovermethod=priority
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7

[epel-debuginfo]
name=Extra Packages for Enterprise Linux 7 - $basearch - Debug
baseurl=http://mirrors.aliyun.com/epel/7/$basearch/debug
failovermethod=priority
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
gpgcheck=0

[epel-source]
name=Extra Packages for Enterprise Linux 7 - $basearch - Source
baseurl=http://mirrors.aliyun.com/epel/7/SRPMS
failovermethod=priority
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
gpgcheck=0

  • 配置完源之后，执行

    yum clean all 
yum repolist
yum makecache #生成缓存

  • 添加 cepher 用户，并添加sudo权限

    useradd cepher
echo '12345678' | passwd --stdin cepher #设置cepher密码
echo "cepher ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cepher #sudo无需密码
chmod 0440 /etc/sudoers.d/cepher #不可删除该用户

    完毕后关闭基础虚拟机，进入后续步骤。

开始

准备工作

  1. 克隆虚拟机。
 > 克隆前请关闭虚拟机

  1. 编辑虚拟机设置，给克隆后的虚拟机添加两块100G的磁盘，将来用作OSD管理的磁盘

  2. 用cepher用户登录

  3. 修改克隆后的虚拟机IP地址和hostname

    sudo hostnamectl set-hostname ceph-mon1 # 设置主机名
exec bash -l #使之即时生效
# vi /etc/hosts # 编辑主机名称，重启后依然生效
192.168.100.101 ceph-mon1
192.168.100.102 ceph-osd2
192.168.200.101 ceph-mon1
192.168.200.102 ceph-osd2

  4. 在管理节点(此处的管理节点即mon1)上以root用户的身份来做各节点ssh免密登录

su - root
ssh-keygen -t rsa -P ''
ssh-copy-id root@ceph-mon1
ssh-copy-id root@ceph-osd2
  1. 在管理节点(此处的管理节点即mon1)上以cepher用户的身份来做各节点ssh免密登录
su - cepher
ssh-keygen -t rsa -P ''
ssh-copy-id cepher@ceph-mon1
ssh-copy-id cepher@ceph-osd2
  1. 管理节点安装ceph-deploy
# 安装ceph
sudo yum update -y 
sudo yum install -y ceph-deploy python-setuptools python2-subprocess32 ceph-common --nogpgcheck
  1. 在管理节点以cepher用户身份家目录建立ceph-cluster目录
~~~
mkdir ceph-cluster
cd ceph-cluster
~~~

MON 服务

在管理节点以cepher用户运行运行：

ceph-deploy new ceph-mon1 --cluster-network 192.168.100.0/24  --public-network 192.168.200.0/24 #mon节点，可以写第一个，也可以写多个

在所有节点安装：

sudo yum install ceph ceph-radosgw -y --nogpgcheck

在管理节点以cepher用户运行

cd ceph-cluster
ceph-deploy install --no-adjust-repos ceph-mon1 ceph-osd2

在管理节点以cepher用户运行

ceph-deploy mon create-initial #这一步其实是在生成keyring文件

在管理节点以cepher用户运行

ceph-deploy admin ceph-mon1 ceph-osd2
#将配置和client.admin秘钥环推送到远程主机。
#每次更改ceph的配置文件，都可以用这个命令推送到所有节点上
#此时要求输入root密码 - 如果做了root免密登录即可避免这点中断

在所有节点以root的身份运行

sudo setfacl -m u:cepher:r /etc/ceph/ceph.client.admin.keyring 
#ceph.client.admin.keyring文件是 ceph命令行 所需要使用的keyring文件
#不管哪个节点，只要需要使用cephadm用户执行命令行工具，这个文件就必须要让cephadm用户拥有访问权限，就必须执行这一步
#这一步如果不做，ceph命令是无法在非sudo环境执行的。

Mgr 服务

在管理节点执行：

cd ceph-cluster
ceph-deploy mgr create ceph-mon1

sudo cp {ceph.client.admin.keyring,ceph.conf} /etc/ceph/
ceph -s #健康检查

OSD 服务

在管理节点执行，列出osd节点上的所有可用磁盘

ceph-deploy disk list ceph-mon1 ceph-osd2
#要以cepher 用户在~/ceph-cluster/目录下执行

在管理节点执行，清空osd节点上用来作为osd设备的磁盘

sudo ceph-deploy disk zap ceph-mon1 /dev/sdb /dev/sdc
sudo ceph-deploy disk zap ceph-osd2 /dev/sdb /dev/sdc

在管理节点执行，创建OSD

ceph-deploy osd create ceph-mon1 --data /dev/sdb 
ceph-deploy osd create ceph-osd2 --data /dev/sdb
ceph-deploy osd create ceph-mon1 --data /dev/sdc
ceph-deploy osd create ceph-osd2 --data /dev/sdc

查看集群状态

ceph -s
#到这一步其实已经基本能用了

在这里插入图片描述
在管理节点执行，创建一个存储池，要想使用ceph的存储功能，必须先创建存储池

ceph osd pool create data-pool 64 64  #创建存储池
ceph osd pool ls #用ceph osd查看
rados lspools # 用rados查看

简单测试

rados put issue /etc/issue -p data-pool #上传一个文件
rados get issue my_issue -p data-pool #下载一个文件
rados rm issue -p data-pool #删除一个文件
rados ls -p data-pool #列出pool中有哪些文件
ceph osd map data-pool issue # 查看文件在Ceph集群内是怎样做映射的
zhihua_bupt
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ceph部署安装
CYXANMDL的博客
08-16 1662
一个Ceph存储集群和。运行Ceph文件系统的客户端时，Ceph的元数据服务（MDS）必不可少的。Ceph OSD：全称是Object Storage Device,主要功能是**存储数据，处理数据的复制、恢复、回补、平衡数据分布，并将一些相关数据提供给Ceph Monitor,。**例如ceph OSD心跳等。一个Ceph的存储集群，至少两个Ceph OSD来实现 active + clean健康状态和有效的保存数据的双副本（默认情况下是双副本，可以调整）。...
ceph安装部署
weixin_39934651的博客
01-12 1700
ceph集群创建： 创建虚拟机器必须是单数例如：3，6，9等 主机名对相应的/etc/hosts，ip地址，yum源可以上网查询 修改所有主机的主机名，ssh免密连接，ntp时间同步，创建物理磁盘 hostnamectl set-hostname ceph1 reboot 1.关闭防火墙 systemctl stop firewalld systemctl disable firewalld 2.关闭selinux setenforce 0 步骤一： 挂在相关的ceph资源包，ceph-.
CEPH最详细安装部署
最新发布
zhaowen_boss的博客
02-01 2951
ceph是一个开放、自我修复和自我管理的统一分布式存储系统。具有高扩展性、高新能、高可靠性的优点。
Ceph学习之路（一）之ceph初识
weixin_30710457的博客
08-03 750
一、元数据和元数据管理 （1）元数据 　　在学习Ceph之前，需要了解元数据的概念。元数据又称为中介数据、中继数据，为描述数据的数据。主要描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。通俗地说，就是用于描述一个文件的特征的系统数据，比如访问权限、文件拥有者以及文件数据库的分布信息（inode)等等。在集群文件系统中，分布信息包括文件在磁盘上的...
ceph安装部署使用文档
12-24
2. 安装Ceph依赖：使用`sudo apt-get install -y ceph-deploy`或`yum install -y ceph-deploy`命令安装Ceph部署工具。 3. 设置防火墙规则：打开必要的端口，如6789（Mon）、8080（Dashboard）等，以允许Ceph服务通信...
ceph安装部署（centos6.6）
02-06
四：安装ceph软件包 6 五：安装ceph对象网关 9 六、搭建ceph集群 10 6.1、配置mon节点 10 6.2：添加osd节点 13 6.2.1、添加第一块osd节点 13 6.3：添加元数据服务器 17 6.3.1、添加第一个元数据服务器 17 七：安装...
ceph集群部署.doc
07-30
3. Ceph集群部署步骤：Ceph集群部署步骤包括安装Ceph软件包、配置Ceph集群、添加Ceph OSD和Ceph MDS、配置Ceph Monitor等。 4. Ceph集群部署注意事项：在部署Ceph集群时，需要注意网络配置、磁盘分区和RAID配置等...
ceph 手工部署osd
01-12
ceph 集群中如何手工部署osd，
CEPH安装部署
别不开心ovo
04-16 1150
文章目录一、节点规格二、修改主机名1.ceph01节点修改主机名：2.ceph02节点修改主机名：3.ceph03节点修改主机名：三、配置网络1.ceph01配置网络：2.ceph02配置网络：3.ceph03配置网络：四、关闭防火墙ceph01关闭防火墙（ceph02，ceph03同理）：五、配置本地解析ceph01配置（ceph02，ceph03同理）：六、配置免密登录ceph01配置（ceph02，ceph03同理）：七、配置源ceph01配置（ceph02，ceph03同理）：八、配置NTP1.ce
cephadm搭建ceph文件集群存储
qq_20807319的博客
01-14 1802
一、基础配置 1、配置主机名 [root@ecs-cd34 ~]hostnamectl set-hostname node1 [root@ecs-cd34 ~]exec bash #主机名生效 2、配置hosts解析（根据自己的服务器id修改） cat >> /etc/hosts <<EOF 192.168.0.70 node1 192.168.0.71 node2 192.168.0.72 node3 EOF 3、关闭防火墙和selinux systemctl disa
ubuntu 20 安装ceph，并dashboard密码
dahaidoushishuia的博客
03-31 601
修改admin用户的密码，密码需要写在文档里，不然不能修改成功。web界面用户密码了怎么办？
Ceph分布式存储安装
qq_41749676的博客
11-02 485
ceph存储
Ceph入门到实战
08-15
SDS（英文：Software Define Storage）软件定义存储作为新基建（云计算中基础设施建设）重要的一环，Ceph作为未来统一软件定义存储系统，提供了RBD块存储，RGW对象存储和CephFS文件存储接口的接入，本课程结合在企业实践由浅入深多面剖析Ceph存储，一个分为三篇：基础篇、进阶篇和高阶篇，基础篇介绍Ceph的基础概念，Ceph分布式集群部署，RBD块存储的使用，RGW对象存储使用，CephFS文件存储的使用；进阶篇介绍Ceph运维中常见的操作，包括集群扩容，集群管理，CRUSHMAP定制，RBD快照克隆，RBD增量备份与恢复，RGW高可用集群；高阶篇介绍Ceph和kubernetes集成，Ceph与KVM集成，Ceph与openstack云平台集成，SDK开发等内容。备注：本课程以Ceph官方文档为主，不提供资料下载。【【课程大纲】
Ceph完整版安装部署
eagle89的专栏
02-08 7074
Ceph介绍 1.1. Ceph 介绍 在过去几年中，数据存储需求急剧增长。研究表明，大型组织中的数据正以每年40%到60%的速度增长，许多公司每年的数据都翻了一番。国际数据公司(IDC)的分析师估计，到2000年，全球共有54.4 exabytes 的数据。到2007年，这一数字达到295艾字节，到2020年，全球预计将达到44 zettabytes。传统的存储系统无法管理这样的数据增长;我们需要一个像Ceph这样的系统，它是分布式的，可扩展的，最重要的是，在经济上是可行的。Ceph是专门为处理当今和
用ceph-deploy安装ceph并部署集群
热门推荐
Erdong_up的博客
08-31 1万+
部署安装关于安装ceph整个过程中遇到的问题，以及靠谱的解决办法，个人亲测有效，不代表广大同行的观点。 我用的是服务器，所以没搞什么用户的问题。机器是centOS7.3。我安装的ceph版本是jewel，目前只用了3个节点。 节点IP 命名 角色 10.0.1.92 e1092 mon 10.0.1.93 e1093 mon,osd 10.0.1.94
Ceph的安装
y_zilong的博客
08-21 1628
#配置主机名解析 root@ceph-deploy:~# cat /etc/hosts 127.0.0.1 localhost 127.0.1.1 ubuntu.yzl.cn ubuntu # The following lines are desirable for IPv6 capable hosts ::1 localhost ip6-localhost ip6-loopback ff02::1 ip6-allnodes ff02::2 ip6-allrouters 10.0.0.131.
docker 安装部署 ceph
08-31
为了使用Docker部署Ceph集群，有几种方法可以选择。首先，你可以参考中提供的CentOS 7系统Docker Ceph集群的安装配置文章，其中详细介绍了如何使用Docker在单机上部署Ceph。其次，你也可以使用脚本和Docker来部署Ceph集群，具体的步骤如下：首先，在每个机器上执行脚本，确保已经安装了Docker，并且有对应的Docker Ceph镜像。然后，可以使用ansible批量执行部署操作。接下来，你还可以生成一些文件来配置Ceph集群。例如，通过在mon节点上执行以下命令可以生成osd的密钥信息： ``` docker exec ceph-mon ceph auth get client.bootstrap-osd -o /var/lib/ceph/bootstrap-osd/ceph.keyring ``` 同样，通过以下命令可以生成rgw的密钥信息： ``` docker exec ceph-mon ceph auth get client.bootstrap-rgw -o /var/lib/ceph/bootstrap-rgw/ceph.keyring ``` 以上是使用Docker安装部署Ceph的一些方法和步骤。具体情况还需要根据你的需求和环境来调整。希望对你有所帮助。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [Docker安装部署Ceph](https://blog.csdn.net/bzjoko/article/details/128775373)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [使用脚本和docker部署ceph集群](https://download.csdn.net/download/atongmu321645/10664386)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值