docker安装ceph分布式存储系统(多节点)

已于 2022-11-07 15:03:04 修改
阅读量1.9k 收藏 17
点赞数 1
分类专栏： docker ceph 文章标签： docker ceph
于 2022-09-13 17:30:41 首次发布
创作不易，请勿白嫖
本文链接：https://blog.csdn.net/qq_25235871/article/details/126784364
版权

准备工作

准备三台服务器（有无网络都可以,ip主机名要设置好）

主机名IP功能
master192.168.148.2mon, osd, mgr, mds
node1192.168.148.3mon, osd, mgr, mds
node2192.168.148.4mon, osd, mgr, mds

拉取ceph镜像

# 我这里是拉取的ceph/daemon 4.2版本
docker pull ceph/daemon:v4.0.22-stable-4.0-nautilus-centos-7-x86_64

如果没有网络就save打包出来上传进去load

docker save -o  tar文件名称     镜像REPOSITORY:TAG #打包
docker load -i tar文件名称 #加载镜像

在主节点中编写执行脚本

vi start_mon.sh

#!/bin/bash
docker run -d --net=host \
    --name=mon \
    -v /etc/localtime:/etc/localtime \
    -v /usr/local/bin/ceph/etc:/etc/ceph \
    -v /usr/local/bin/ceph/lib:/var/lib/ceph \
    -v /usr/local/bin/ceph/logs:/var/log/ceph \
    -e MON_IP=192.168.148.2 \
    -e CEPH_PUBLIC_NETWORK=192.168.148.0/16 \
    ceph/daemon:v4.0.22-stable-4.0-nautilus-centos-7-x86_64  mon

vi start_osd.sh

#!/bin/bash
docker run -d \
    --name=osd \
    --net=host \
    --restart=always \
    --privileged=true \
    --pid=host \
    -v /etc/localtime:/etc/localtime \
    -v /usr/local/bin/ceph/etc:/etc/ceph \
    -v /usr/local/bin/ceph/lib:/var/lib/ceph \
    -v /usr/local/bin/ceph/logs:/var/log/ceph \
    -v /data/ceph/osd:/var/lib/ceph/osd \
    ceph/daemon:v4.0.22-stable-4.0-nautilus-centos-7-x86_64  osd_directory

vi start_mds.sh

#!/bin/bash
docker run -d \
   --net=host \
   --name=mds \
   --privileged=true \
   -v /etc/localtime:/etc/localtime \
   -v /usr/local/bin/ceph/etc:/etc/ceph \
   -v /usr/local/bin/ceph/lib:/var/lib/ceph \
   -v /usr/local/bin/ceph/logs:/var/log/ceph \
   -e CEPHFS_CREATE=0 \
   -e CEPHFS_METADATA_POOL_PG=512 \
   -e CEPHFS_DATA_POOL_PG=512 \
   ceph/daemon:v4.0.22-stable-4.0-nautilus-centos-7-x86_64 mds

vi start_mgr.sh

#!/bin/bash
docker run -d --net=host  \
  --name=mgr \
  -v /etc/localtime:/etc/localtime \
  -v /usr/local/bin/ceph/etc:/etc/ceph \
  -v /usr/local/bin/ceph/lib:/var/lib/ceph \
  -v /usr/local/bin/ceph/logs:/var/log/ceph \
  ceph/daemon:v4.0.22-stable-4.0-nautilus-centos-7-x86_64  mgr

vi start_rgw.sh

#!/bin/bash
docker run \
   -d --net=host \
   --name=rgw \
   -v /usr/local/bin/ceph/lib:/var/lib/ceph/ \
   -v /usr/local/bin/ceph/etc:/etc/ceph \
   -v /etc/localtime:/etc/localtime \
   ceph/daemon:v4.0.22-stable-4.0-nautilus-centos-7-x86_64 rgw

准备工作

# 三台机器全部都执行一遍
# 编写hosts文件
cat >>/etc/hosts <<EOF
192.168.148.2 master
192.168.148.3 node1
192.168.148.4 node2
EOF

# 三台机器全部都执行一遍
# 创建ceph目录
sudo mkdir -p /usr/local/bin/ceph/{admin,data,etc,lib,logs}
sudo chmod 777 -R /usr/local/bin/ceph/admin
sudo chmod 777 -R /usr/local/bin/ceph/data
sudo chmod 777 -R /usr/local/bin/ceph/etc
sudo chmod 777 -R /usr/local/bin/ceph/lib
sudo chmod 777 -R /usr/local/bin/ceph/logs

# 三台机器全部都执行一遍
# 创建osd挂载目录
sudo mkdir -p /data/etc/osd
sudo chmod 777 -R /data/etc/osd

# master执行即可
# 设置免密登录
ssh-keygen
ssh-copy-id node1
ssh-copy-id node2

安装ceph-mon

# 在master执行
sh start_mon.sh

# 在master执行
# 查看是否运行成功
docker ps 

# 在master执行
# 检查Ceph状态
docker exec mon ceph -s 

# 在master执行
vi /usr/local/bin/ceph/etc/ceph.conf


[global]
fsid = 171912aa-2b67-42e9-a988-37615b91f3e2
mon initial members = master
mon host = 192.168.148.2,192.168.148.3,192.168.148.4
public network = 192.168.148.0/16
cluster network = 192.168.148.0/16
osd journal size = 100
# 容忍更多的时钟误差
mon clock drift allowed = 2
mon clock drift warn backoff = 30
mon_max_pg_per_osd = 1000
# 推送到各节点：
# 允许删除pool
mon_allow_pool_delete = true
osd max object name len = 256
osd max object namespace len = 64

[mgr]
# 开启WEB仪表盘
mgr modules = dashboard
[client.rgw.ceph1]
# 设置rgw网关的web访问端口
rgw_frontends = "civetweb port=7480"

# 在master执行
# 复制文件到节点，这里最好是用root用户
sudo scp -r /usr/local/bin/ceph 你的用户名@node1:/usr/local/
sudo scp -r /usr/local/bin/ceph 你的用户名@node2:/usr/local/

#分别修改两台机器上ceph.conf的mon initial members为node1和node2
vi /usr/local/bin/ceph/etc/ceph.conf

# 分别在两台node上执行
sh start_mon.sh

# 在任意机器执行将会看到下面的内容
# 检查Ceph状态
docker exec mon ceph -s 



 cluster:
    id:     171912aa-2b67-42e9-a988-37615b91f3e2
    health: HEALTH_WARN
            mons are allowing insecure global_id reclaim
 
  services:
    mon: 3 daemons, quorum master,node1,node2 (age 1m)

安装ceph-osd

# 分别在三台机器上执行生成osd的密钥信息
docker exec -it mon ceph auth get client.bootstrap-osd -o /var/lib/ceph/bootstrap-osd/ceph.keyring

# 分别在三台机器上执行
sh start_osd.sh

# 在任意机器执行将会看到下面的内容
# 检查Ceph状态
docker exec mon ceph -s 



 cluster:
    id:     171912aa-2b67-42e9-a988-37615b91f3e2
    health: HEALTH_WARN
            mons are allowing insecure global_id reclaim
 
  services:
    mon: 3 daemons, quorum master,node1,node2 (age 2m)
    osd: 3 osds: 3 up (since 2d), 3 in (since 1m)

安装ceph-mgr

# 分别在三台机器上执行
sh start_mgr.sh

# 在任意机器执行将会看到下面的内容
# 检查Ceph状态
docker exec mon ceph -s 



 cluster:
    id:     171912aa-2b67-42e9-a988-37615b91f3e2
    health: HEALTH_WARN
            mons are allowing insecure global_id reclaim
 
  services:
    mon: 3 daemons, quorum master,node1,node2 (age 3m)
    osd: 3 osds: 3 up (since 2d), 3 in (since 2m)
    mgr: master(active, since 2d), standbys: node1, node2

安装ceph-rgw

# 分别在三台机器上执行生成rgw的密钥信息
docker exec mon ceph auth get client.bootstrap-rgw -o /var/lib/ceph/bootstrap-rgw/ceph.keyring

# 分别在三台机器上执行
sh start_rgw.sh

#单节点时，rgw启动之后，ceph -s 查看可能会出现Degraded降级的情况，我们需要手动设置rgw pool的size 和 min_size为最小1
#ceph osd pool set .rgw.root min_size 1
#ceph osd pool set .rgw.root size 1
#ceph osd pool set default.rgw.control  min_size 1
#ceph osd pool set default.rgw.control  size 1
#ceph osd pool set default.rgw.meta  min_size 1
#ceph osd pool set default.rgw.meta  size 1
#ceph osd pool set default.rgw.log  min_size 1
#ceph osd pool set default.rgw.log  size 1

# 在任意机器执行将会看到下面的内容
# 检查Ceph状态
docker exec mon ceph -s 



 cluster:
    id:     171912aa-2b67-42e9-a988-37615b91f3e2
    health: HEALTH_WARN
            mons are allowing insecure global_id reclaim
 
  services:
    mon: 3 daemons, quorum master,node1,node2 (age 3m)
    osd: 3 osds: 3 up (since 2d), 3 in (since 2m)
    mgr: master(active, since 2d), standbys: node1, node2
    rgw: 3 daemons active (master, node1, node2)

安装ceph-mds

# 分别在三台机器上执行
sh start_mds.sh

# 在任意机器执行将会看到下面的内容
# 检查Ceph状态
docker exec mon ceph -s 



 cluster:
    id:     171912aa-2b67-42e9-a988-37615b91f3e2
    health: HEALTH_WARN
            mons are allowing insecure global_id reclaim
 
  services:
    mon: 3 daemons, quorum master,node1,node2 (age 3m)
    osd: 3 osds: 3 up (since 2d), 3 in (since 2m)
    mds: cephfs:1 {0=master=up:active} 2 up:standby
    mgr: master(active, since 2d), standbys: node1, node2
    rgw: 3 daemons active (master, node1, node2)

CephFS部署

# 在master执行 创建Data Pool
sudo docker exec osd ceph osd pool create cephfs_data 128 128

#  在master执行 创建Metadata Pool
docker exec osd ceph osd pool create cephfs_metadata 64 64

# 在master执行 创建CephFS
docker exec osd ceph fs new cephfs cephfs_metadata cephfs_data

# 在master执行 查看FS信息
sudo docker exec osd ceph fs ls

安装Dashboard管理后台

# 在master执行 开启dashboard功能
docker exec mgr ceph mgr module enable dashboard

#  在master执行 创建证书
docker exec mgr ceph dashboard create-self-signed-cert

# 在master执行 设置用户名为admin, 密码为admin。
docker exec mgr ceph dashboard set-login-credentials admin admin

# 在master执行 配置外部访问端口
docker exec mgr ceph config set mgr mgr/dashboard/server_port 18080

# 在master执行 配置外部访问IP
docker exec mgr ceph config set mgr mgr/dashboard/server_addr 192.168.148.2

# 在master执行 关闭https(如果没有证书或内网访问， 可以关闭)
docker exec mgr ceph config set mgr mgr/dashboard/ssl false

# 在master执行 重启Mgr DashBoard服务
docker restart mgr

# 在master执行 查看Mgr DashBoard服务信息
docker exec mgr ceph mgr services



{
   "dashboard": "http://master:18080/"
}

管理控制台界面：
Dashboard
Dashboard

小明程序猿
关注
  • 1
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
专栏目录
第一篇：用Docker搭建Ceph集群(nautilus版本)
码农飞哥
10-26 8008
在CentOS7上通过Docker搭建Ceph分布式文件系统
Docker部署ceph
最新发布
m0_73690719的博客
06-02 956
虚拟机:centos,需要3个 主要内容：docker 部署ceph
使用 Docker 部署分布式存储系统——Ceph
持续学习，稳中求进，努力输出高质量内容， 所有文章都会维护更新。
02-01 1977
Ceph 是一个开源的分布式存储系统，提供了对象存储、块存储和文件系统三种存储接口。Ceph 将数据存储在逻辑存储池中，使用 CRUSH 分布式算法决定如何将数据分散存储在集群的各个节点上，以实现高可用性和数据冗余。本文介绍如何使用 Ceph 的对象存储功能。
ceph分布式存储
u010864567的博客
05-03 6346
分布式存储概述 数据分为元数据和数据 元数据即是文件的属性信息，元数据就是有一种路由机制，即当客户端或者应用程序产生的客户端数据被写入到分布式存储系统的时候，会有一个服务(NameNode)提供文件元数据的路由功能，即告诉应用程序去哪个服务器去请求文件内容，然后再有(DataNode)提供数据的读写请求及数据的高可用功能。 传统的分布式存 块存储：需要格式化，将文件保存到磁盘上 文件存储：提供数据存储的接口，是由操作系统针对块存储的应用，即由操作系统提供存储接口，应用程序通过调用操作系统将文件保
Ceph分布式存储
LiGuogang
01-17 680
CEPH 简介 无论您是想为云平台提供Ceph 对象存储和/或 Ceph 块设备服务、部署Ceph 文件系统还是将 Ceph 用于其他目的，所有 Ceph 存储集群部署都从设置每个 Ceph 节点、您的网络和 Ceph开始存储集群。一个 Ceph 存储集群至少需要一个 Ceph Monitor、Ceph Manager 和 Ceph OSD（对象存储守护进程）。运行 Ceph 文件系统客户端时也需要 Ceph 元数据服务器。 Monitors Ceph Monitor ( ceph-mon) 维护集群状
@Ceph分布式存储及架构原理
ଲ一笑奈@何
05-21 364
文章目录一、Ceph 简介1、ceph的简述2、Ceph特点3、Ceph应用场景4、Ceph是一个高性能、可扩容的分布式存储系统，提供三大功能：5、Ceph数据存储过程二、Ceph 架构1、支持的三种接口2、Ceph 核心组件及概念3、三种存储类型1）块存储2）文件存储3）对象存储4、Ceph IO 流程图5、新主 IO 流程图6、 Ceph IO 算法流程7、Ceph RBD IO 流程8、Ceph RBD IO 框架图9、Ceph Pool 和 PG 分布情况10、Ceph 数据扩容 PG 分布 一、C
Ceph分布式存储知识总结
weixin_43876317的博客
02-09 1498
Ceph分部署存储
ceph分布式存储集群搭建
w2909526的博客
03-01 1470
环境规划 mon-node 10.5.77.61 mon-node admin-node mon-node 10.5.77.62 mon-node mon-node 10.5.77.63 mon-node osd-node 10.5.77.64 osd-node 备注：需要事先规划独立硬盘或分区 osd-node 10.5.77.65 osd-node 备注：需要事先规划独立硬盘或分区 osd-node 10.5.77.66 osd-node 备注：需要事先规划独立硬盘或分区
Kubernetes 集群基于 Rook 搭建 Ceph 分布式存储系统
哎_小羊的博客
01-10 8893
Rook 是专用于 Cloud-Native 环境的文件、块、对象存储服务。它实现了一个自动管理的、自动扩容的、自动修复的分布式存储服务。Rook 支持自动部署、启动、配置、分配、扩容/缩容、升级、迁移、灾难恢复、监控以及资源管理，Rook 目前支持 Ceph、NFS、Minio Object Store、Edegefs、Cassandra、CockroachDB 存储的搭建，后期会支持更多存储方案。本文将在 Kubernetes 基于 Rook 搭建 Ceph 分布式存储系统
云原生之深入解析分布式存储系统Ceph的环境部署和实战操作
╰つ栺尖篴夢ゞ
07-13 1228
Ceph 是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs)，Ceph 在存储的时候充分利用存储节点的计算能力，在存储每一个数据时都会通过计算得出该数据的位置，尽量的分布均衡。目前，Ceph 也是 OpenStack 的主流后端存储。
Ceph 分布式存储实战(高清带目录完全版本562页)
02-18
《Ceph分布式存储实战》是一本深入探讨Ceph技术的高清完整版图书，共计562页，旨在帮助读者全面理解和掌握Ceph分布式存储系统。Ceph作为一个开源的、高可扩展的统一存储解决方案，其核心特性包括数据的高可用性、...
kubernetes安装使用+ceph实现后端持久化存储
06-21
在IT行业中，Kubernetes（简称K8s）和Ceph是两个重要的技术组件，它们分别在容器编排和分布式存储领域发挥着关键作用。本文将详细介绍如何安装和使用Kubernetes，并利用Ceph来实现后端的持久化存储。 首先，...
docker-volume-ceph-rbd:一个Docker Volume插件，可将Ceph RBD用作分布式数据存储
05-19
`docker-volume-ceph-rbd`是一个强大的工具，它结合了Docker Volume的易用性和Ceph RBD的分布式存储优势。通过使用Go语言开发，插件具有高效和轻量级的特性，适合在企业级环境中部署。对于依赖于容器化环境且对存储...
docker-radosgw:在 docker 中运行您自己的分布式 s3 存储
06-08
Ceph Rados 网关在 docker 中运行您自己的分布式 s3 存储。Ceph 集群创建假设您想在一台机器上测试 ceph。 我们的 lan ip 是192.168.0.7 ，主机名是callisto 。 为了保持配置同步，我们将从主机目录/media/backups/...
云原生时代分布式文件系统的设计与实现共37页.pdf.zi
11-08
分布式文件系统是云原生架构中的重要组件，它允许跨越多个网络节点存储和访问大量数据。这种系统的关键特性包括： 1. **可伸缩性**：分布式文件系统能够随着数据量和用户需求的增长动态扩展，通过增加节点来提升...
VMware虚拟机ubuntu16.04安装docker以及docker swarm
小明程序猿
06-04 2753
ubuntu配置ip ubuntu安装docker ubuntu安装docker swarm
ubuntu 中基于docker运行jenkins
小明程序猿
06-09 1477
ubuntu 中基于docker运行jenkins
docker部署cAdvisor + Prometheus + Grafana + Alertmanager
小明程序猿
10-20 1175
docker部署cAdvisor + Prometheus + Grafana + Alertmanager
Ceph在容器存储趋势中的角色与进展
文件接口则更适合于文件共享和分布式文件系统，例如CephFS，它允许多个容器访问同一文件系统，提供了灵活的存储解决方案。 CephFS在容器云中的进展表明，它可以为容器提供高效、一致的文件存储服务。随着容器技术的...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小明程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值