Ubuntu14多节点搭建ceph集群

Ubuntu14.04中Ceph搭建过程

安装环境：

Ceph 0.87.2

 Ubuntu-14.04 LTS 

集群节点信息：

Host   ip address

mon    10.0.0.8  

osd0    10.0.0.30

osd1    10.0.0.50

mon节点是admin节点，装一个monitor，一个osd，一个mds

osd0 节点，装一个osd

osd1 节点，装一个osd

一、mon节点(admin节点)部署

1 添加发行密钥

wget -q -O- 'https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudo apt-key add -

2添加软件源

echo deb http://ceph.com/debian-{ceph-stable-release}/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list

{ceph-stable-release}用giant代替

3更新仓库并安装ceph-deploy

sudo apt-get update

sudo apt-get install ceph-deploy

ceph-deploy --version

1.5.22

二、ceph节点设置

 1添加hosts信息

分别在三个节点中编辑/etc/hosts，添加如下内容

10.0.0.8   mon     

10.0.0.30  osd0   

10.0.0.50  osd1    

2添加ceph用户

分别在三个节点执行

sudo adduser ceph

echo "ceph ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/ceph

sudo chmod 0440 /etc/sudoers.d/ceph

3同步时间

在mon节点上安装ntp服务器

sudo apt-get install ntp

设置其他节点与mon节点时间同步

(sudo ntpdate 10.0.0.8)

4设置mon（admin）节点与其他节点ssh无密码互通

在mon节点上切换到ceph用户

ssh-keygen

ssh-copy-id ceph@osd0

ssh-copy-id ceph@osd1

5 配置config文件

在mon节点上切换到ceph用户，编辑/home/ceph/.ssh/config文件(原来不存在)添加如下内容

Host mon

   Hostname mon

   User ceph

Host osd0

   Hostname osd0

   User ceph

Host osd1

   Hostname osd1

   User ceph

三、创建ceph对象存储集群

1在mon节点切换到ceph用户，进入其主目录下

su ceph

cd /home/ceph

sudo mkdir ceph-cluster //  ceph-deploy命令会输出文件到此目录下

sudo chown ceph ceph-cluster/

cd ceph-cluster

2创建集群

ceph-deploy new mon

注意：执行完这一步之后，在ceph-cluster目录下会生成ceph.conf配置文件，在/etc/ceph目录也会获得该配置文件

3为所有节点安装ceph

ceph-deploy install mon osd0 osd1

4创建初始监视器并收集秘钥

ceph-deploy mon create-initial

注意：执行完这一步之后，在ceph-cluster目录下会生成秘钥文件，默认的{cluster-name}是ceph

{cluster-name}.client.admin.keyring

{cluster-name}.bootstrap-osd.keyring

{cluster-name}.bootstrap-mds.keyring

5添加osds(osd用独立的目录代替)

ssh登录到另外两个节点创建osd目录

ssh ceph@osd0sudo mkdir /var/local/osd0exitssh ceph@osd1sudo mkdir /var/local/osd1exit

mon节点创建osd目录

cd /home/ceph

sudo mkdir /var/local/osd2

cd /home/ceph/ceph-cluster

准备

ceph-deploy osd prepare osd0:/var/local/osd0 osd1:/var/local/osd1 mon:/var/local/osd2

激活

ceph-deploy osd activate osd0:/var/local/osd0 osd1:/var/local/osd1 mon:/var/local/osd2

6拷贝配置文件和admin key到admin节点和其他节点

ceph-deploy admin mon osd0 osd1

sudo chmod +r /etc/ceph/ceph.client.admin.keyring

7查看ceph状态

ceph health

ceph status

 

8添加元数据服务器（mds）

ceph-deploy mds create mon