Ceph 存储集群 - 搭建Ceph存储集群

最新推荐文章于 2024-08-22 17:34:21 发布

江湖人称小程

最新推荐文章于 2024-08-22 17:34:21 发布

阅读量1.8k

点赞数 1

分类专栏： Ceph 文章标签： ceph集群 ceph 搭建集群 centos7搭建ceph

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/qq_28082757/article/details/90484479

版权

Ceph 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

文章目录

前言
一、准备机器
二、ceph节点安装
三、搭建集群
四、dashboard配置（扩展功能）

前言

该文章采用的ceph-deploy版本为：ceph-deploy-1.5.38-0.noarch

下载地址：https://download.ceph.com/rpm-kraken/el7/noarch/

文章主要针对内网、不能上外网或者外网下载速度很慢的一部分用户。
外网用户和内网用户有差异的地方只有源的配置那部分,，其余部分都是一样的。

ceph的源采用的是公司内部自己的源，如果是外网可以直接用阿里源。

在下面步骤的后面带有 “（节点信息）”的描述，代表在哪个节点上面执行。

一、准备机器

本文描述如何在 CentOS 7 下搭建 Ceph 存储集群（STORAGE CLUSTER）。
在这里插入图片描述

一共4台机器，其中1个是管理节点，其他3个是ceph节点（一个monitor节点，两个osd节点）：
admin-node 10.74.125.60 ceph-deploy 管理节点
mon-node 10.74.125.61 monitor ceph节点-监控节点
osd-node1 10.74.125.62 osd1 ceph节点-OSD节点
osd-node2 10.74.125.63 osd2 ceph节点-OSD节点
管理节点：admin-node

ceph节点：mon-node, osd-node1,osd-node2

所有节点：admin-node, mon-node, osd-node1,osd-node2

1. 修改各自的主机名为上表对应的hostname

hostnamectl set-hostname xxxx

2. 修改hosts文件

vi /etc/hosts
将4个虚机的hosts文件里都加上下面内容：

10.74.125.60 admin-node
10.74.125.61 mon-node
10.74.125.62 osd-node1
10.74.125.63 osd-node2

然后再重启虚机

3. 确保联通性（管理节点）

用 ping主机名的方式确认网络联通性。解决掉可能存在的主机名解析问题。

ping mon-node
ping osd-node1
ping osd-node2

二、ceph节点安装

1. 安装SSH（所有节点）

如已安装SSH，则直接进行下一步，没有安装的，请安装：

sudo yum install openssh-server

2. 创建部署 CEPH 的用户（所有节点）

ceph-deploy 工具必须以普通用户登录 Ceph 节点，且此用户拥有无密码使用 sudo 的权限，因为它需要在安装软件及配置文件的过程中，不必输入密码。
建议在集群内的所有 Ceph 节点上给 ceph-deploy 创建一个特定的用户，但不要用 “ceph” 这个名字。

1) 在各 Ceph 节点创建新用户

sudo useradd -d /home/cheng -m cheng
sudo passwd cheng

2) 确保各 Ceph 节点上新创建的用户都有 sudo 权限

echo "cheng ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cheng
sudo chmod 0440 /etc/sudoers.d/cheng

3. 允许无密码SSH登录（管理节点）

因为 ceph-deploy 不支持输入密码，你必须在管理节点上生成 SSH 密钥并把其公钥分发到各 Ceph 节点。 ceph-deploy 会尝试给初始 monitors 生成 SSH 密钥对。

1) 生成 SSH 密钥对

不要用 sudo 或 root 用户。提示 “Enter passphrase” 时，直接回车，口令即为空：

//切换用户，如不特别说明，后续的操作均在该用户下进行

su cheng

//生成密钥对

ssh-keygen
 
Generating public/private rsa key pair.
Enter file in which to save the key (/home/cheng/.ssh/id_rsa):
Created directory '/home/cheng/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/cheng/.ssh/id_rsa.
Your public key has been saved in /home/cheng/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:Tb0VpUOZtmh+QBRjUOE0n2Uy3WuoZVgXn6TBBb2SsGk cheng@admin-node
The key's randomart image is:
+---[RSA 2048]----+
|          .+@=OO*|
|           *.BB@=|
|          ..O+Xo+|
|         o E+O.= |
|        S oo=.o  |
|           .. .  |
|             .   |
|                 |
|                 |
+----[SHA256]-----+

2) 把公钥拷贝到各 Ceph 节点

ssh-copy-id cheng@admin-node
ssh-copy-id cheng@mon-node
ssh-copy-id cheng@osd-node1
ssh-copy-id cheng@osd-node2

完成后， /home/zeng/.ssh/ 路径下：

admin-node 多了文件 id_rsa、id_rsa.pub 和 known_hosts；
node1, node2, node3 多了文件authorized_keys。

3) 修改~/.ssh/config 文件

修改 ~/.ssh/config 文件（没有则新增），这样 ceph-deploy 就能用你所建的用户名登录 Ceph 节点了。

Host admin-node
   Hostname admin-node
   User cheng
Host mon-node
   Hostname mon-node
   User cheng
Host osd-node1
   Hostname osd-node1
   User cheng
Host osd-node2
   Hostname osd-node2
   User cheng

执行命令修改文件权限。避免出现 “Bad owner or permissions on /home/zeng/.ssh/config”，

sudo chmod 644 ~/.ssh/config

测试ssh能否成功

ssh cheng@mon-node
exit
ssh cheng@osd-node1
exit
ssh cheng@osd-node2
exit

4. 引导时联网（ceph节点）

Ceph 的各 OSD 进程通过网络互联并向 Monitors 上报自己的状态。如果网络默认为 off ，那么 Ceph 集群在启动时就不能上线，直到你打开网络。

cat /etc/sysconfig/network-scripts/ifcfg-enp0s3
 
//确保ONBOOT 设置成了 yes

5. 关闭防火墙（所有节点）

sudo systemctl stop firewalld
sudo systemctl disable firewalld

6. 修改visudo文件（所有节点）

在 CentOS 和 RHEL 上执行 ceph-deploy 命令时可能会报错。如果你的 Ceph 节点默认设置了 requiretty ，执行

sudo visudo

找到 Defaults requiretty 选项，把它改为 Defaults:ceph !requiretty 或者直接注释掉，这样 ceph-deploy 就可以用之前创建的用户（创建部署 Ceph 的用户）连接了。

注意：编辑配置文件 /etc/sudoers 时，必须用 sudo visudo 而不是文本编辑器。

7. 关闭selinux（所有节点）

sudo setenforce 0

要使 SELinux 配置永久生效，需修改其配置文件 /etc/selinux/config：

sudo sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

即修改 SELINUX=disabled。

8. 配置源（所有节点）

将公司的源放到 /etc/yum.repos.d/ 目录下，如果是外网用户，可以直接用阿里源。

9. 手动安装 epel-release 包（所有节点）

sudo yum install epel-release

问题：如果在安装后， /etc/yum.repos.d/ 目录下产生了多余的repo文件，请将多余的文件删掉，只保留最初那个源文件

10. 手动安装 python-setuptools 包（管理节点）

虚机可能装了 python2-setuptools这个包，请先将该包卸载，再安装python-setuptools这个包。

卸载方法：

sudo yum remove python2-setuptools

安装方法：

sudo yum install python-setuptools

11. 安装python-remoto包（管理节点）

sudo yum install python-remoto

12. 安装ceph-deploy（管理节点）

如果仓库没有1.5.38版本的ceph-deploy ，请自行下载：

https://download.ceph.com/rpm-kraken/el7/noarch/

13. 修改代码，只针对内网用户（管理节点）

修改 sudo vim /usr/lib/python2.7/site-packages/ceph_deploy/hosts/centos/install.py 文件：

将以下几句话注释掉：

 58     # Get EPEL installed before we continue:
 59     if adjust_repos:
 60         distro.packager.install('epel-release')
 61         distro.packager.install('yum-plugin-priorities')
 62         #distro.conn.remote_module.enable_yum_priority_obsoletes()
 63         logger.warning('check_obsoletes has been enabled for Yum priorities plugin')
 64     if version_kind in ['stable', 'testing']:
 65         key = 'release'
 66     else:
 67         key = 'autobuild'
 68
 69     if adjust_repos:
 70         if version_kind in ['stable', 'testing']:
 71             #distro.packager.add_repo_gpg_key(gpg.url(key))
 72
 73             if version_kind == 'stable':
 74                 url = 'https://download.ceph.com/rpm-{version}/{repo}/'.format(
 75                     version=version,
 76                     repo=repo_part,
 77                     )
 78             elif version_kind == 'testing':
 79                 url = 'https://download.ceph.com/rpm-testing/{repo}/'.format(repo=repo_part)
 80
 81             """remoto.process.run(
 82                 distro.conn,
 83                 [
 84                     'rpm',
 85                     '-Uvh',
 86                     '--replacepkgs',
 87                     '{url}noarch/ceph-release-1-0.{dist}.noarch.rpm'.format(url=url, dist=dist),
 88                 ],
 89             )"""
 90
 91         elif version_kind in ['dev', 'dev_commit']:
 92             logger.info('skipping install of ceph-release package')
 93             logger.info('repo file will be created manually')
 94             shaman_url = 'https://shaman.ceph.com/api/repos/ceph/{version}/{sha1}/{distro}/{distro_version}/repo/?arch={arch}'.format(
 95                 distro=distro.normalized_name,
 96                 distro_version=distro.normalized_release.major,
 97                 version=kw['args'].dev,
 98                 sha1=kw['args'].dev_commit or 'latest',
 99                 arch=machine
100                 )
101             LOG.debug('fetching repo information from: %s' % shaman_url)
102             content = net.get_chacra_repo(shaman_url)
103             """mirror_install(
104                 distro,
105                 '',  # empty repo_url
106                 None,  # no need to use gpg here, repos are unsigned
107                 adjust_repos=True,
108                 extra_installs=False,
109                 gpgcheck=gpgcheck,
110                 repo_content=content
111             )"""
112
113         else:
114             raise Exception('unrecognized version_kind %s' % version_kind)
115
116         # set the right priority
117         logger.warning('ensuring that /etc/yum.repos.d/ceph.repo contains a high priority')
118         #distro.conn.remote_module.set_repo_priority(['Ceph', 'Ceph-noarch', 'ceph-source'])
119         logger.warning('altered ceph.repo priorities to contain: priority=1')
120
121     if packages:
122         distro.packager.install(packages)
123
124

然后删除 /usr/lib/python2.7/site-packages/ceph_deploy/hosts/centos/install.pyc 和 /usr/lib/python2.7/site-packages/ceph_deploy/hosts/centos/install.pyo 两个文件

修改 sudo vim /usr/lib/python2.7/site-packages/ceph_deploy/hosts/init.py 文件：

将56行等号后面的内容改为如下内容

56     distro_name, release, codename = "centos","","1"

然后删除 /usr/lib/python2.7/site-packages/ceph_deploy/hosts/init.pyc 和 /usr/lib/python2.7/site-packages/ceph_deploy/hosts/init.pyo 两个文件

14.安装yum-plugin-priorities（管理节点）

sudo yum install yum-plugin-priorities

三、搭建集群

在管理节点下执行如下步骤：

1. 安装准备，创建文件夹

在管理节点上创建一个目录，用于保存 ceph-deploy 生成的配置文件和密钥对。

cd /home/cheng/
mkdir my-cluster
cd my-cluster

注：若在后面安装时遇到麻烦，想清除环境重新开始，可以使用以下命令进行清除包和配置：

// 删除安装包
$ ceph-deploy purge admin-node mon-node osd-node1 osd-node2
 
// 清除配置
$ ceph-deploy purgedata admin-node mon-node osd-node1 osd-node2
$ ceph-deploy forgetkeys

2. 创建集群和监控节点

创建集群并初始化监控节点：

这里mon-node是monitor节点，所以执行：

ceph-deploy new mon-node

完成后，my-clster 下多了3个文件：ceph.conf、ceph-deploy-ceph.log 和 ceph.mon.keyring。

问题：如果出现 “[ceph_deploy][ERROR ] RuntimeError: remote connection got closed, ensure requiretty is disabled for mon-node”，执行 sudo visudo 将 Defaults requiretty 注释掉。

3. 修改配置文件

cat ceph.conf

内容如下：

[global]
fsid = a610ebcd-1df1-49ca-a6ee-3b0df53f26ef
mon_initial_members = mon-node
mon_host = 10.74.125.61
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
filestore_xattr_use_omap = true

把 Ceph 配置文件里的默认副本数从 3 改成 2 ，这样只有两个 OSD 也可以达到 active + clean 状态。把 osd_pool_default_size = 2 加入 [global] 段：

osd_pool_default_size = 2

把 public_network 写入 Ceph 配置文件的 [global] 段：

public_network = {ip-address}/{netmask}

完整的配置如下：

[global]
fsid = a610ebcd-1df1-49ca-a6ee-3b0df53f26ef
mon_initial_members = mon-node
mon_host = 10.74.125.61
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
filestore_xattr_use_omap = true
 
osd_pool_default_size = 2
public_network = 10.74.125.0/23

4. 安装Ceph

在所有节点上安装ceph：

ceph-deploy install admin-node mon-node osd-node1 osd-node2

问题：[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: yum -y install epel-release

解决方法1：

重新拉取yum缓存，这样做大多数RuntimeError: Failed to execute command: yum -y install
xxxxx 错误都可解决
解决方法2： sudo yum -y remove epel-release

5. 配置初始 monitor(s)、并收集所有密钥

ceph-deploy mon create-initial

完成上述操作后，当前目录里应该会出现这些密钥环：

{cluster-name}.client.admin.keyring
{cluster-name}.bootstrap-osd.keyring
{cluster-name}.bootstrap-mds.keyring
{cluster-name}.bootstrap-rgw.keyring

6. 创建osd

1). 删除磁盘数据

ceph-deploy disk zap osd-node1:/dev/vdb
ceph-deploy disk zap osd-node2:/dev/vdb

2). 创建osd

ceph-deploy osd create osd-node1:/dev/vdb
ceph-deploy osd create osd-node2:/dev/vdb

7. 创建eph秘钥拷贝（管理节点）

用 ceph-deploy 把配置文件和 admin 密钥拷贝到管理节点和 Ceph 节点，这样你每次执行 Ceph 命令行时就无需指定 monitor 地址和 ceph.client.admin.keyring 了

ceph-deploy admin mon-node osd-node1 osd-node2

修改密钥权限（ceph节点）

chmod +r /etc/ceph/ceph.client.admin.keyring

8. 创建mgr守护进程（管理节点）

建议在每个 mon 中都创建独立的 ceph-mgr，只会active一个，其他的standby

ceph-deploy mgr create mon-node

9. 查看集群状态

两条命令

ceph health
ceph -s

四、dashboard配置（扩展功能）

dashboard其实就是一个web管理后台

1. 修改/etc/ceph/ceph.conf，增加如下配置（管理节点）

[mgr]
mgr modules = dashboard

2. 将主节点上的配置文件推送到从节点（管理节点）

ceph-deploy --overwrite-conf config push mon-node osd-node1 osd-node2

3. 查看当前集群在使用哪几个模块

ceph mgr dump

结果：

{
    "epoch": 27,
    "active_gid": 4118,
    "active_name": "ceph01",
    "active_addr": "192.168.20.148:6804/12748",
    "available": true,
    "standbys": [],
    "modules": [
        "balancer",
        "restful",
        "status"
    ],
    "available_modules": [
        "balancer",
        "dashboard",
        "influx",
        "localpool",
        "prometheus",
        "restful",
        "selftest",
        "status",
        "zabbix"
    ],
    "services": {}
}

4. 使dashboard可用

ceph mgr module enable dashboard

5. 查看是否支持dashboard

ceph mgr module ls

结果：

{
    "enabled_modules": [
        "balancer",
        "dashboard",
        "restful",
        "status"
    ],
    "disabled_modules": [
        "influx",
        "localpool",
        "prometheus",
        "selftest",
        "zabbix"
    ]
}

6. 置dashboard web网页监控的ip及端口（根据需求配置）10.74.x.x为此主机外网ip

ceph config-key put mgr/dashboard/server_addr 10.74.x.x set mgr/dashboard/server_addr
ceph config-key put mgr/dashboard/server_port 7000 set mgr/dashboard/server_port

可以使用此命令查看当前设置的值

ceph config-key dump

结果：

{
    "mgr/dashboard/server_addr": "10.74.x.x",
    "mgr/dashboard/server_port": "7000"
}

现在就可以在浏览器上面输入链接：10.74.x.x:7000 进行访问了。
界面类似这样：
在这里插入图片描述

参考文献：
https://www.cnblogs.com/zengzhihua/p/9829472.html
https://www.jianshu.com/p/cc254cf8842b

技术无他，唯有熟尔。
知其然，也知其所以然。
踏实一些，不要着急，你想要的岁月都会给你。

江湖人称小程

关注

1
点赞
踩
7

收藏

觉得还不错? 一键收藏
3
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录