GlusterFS分布式文件系统 同步时间

最新推荐文章于 2023-12-27 17:53:17 发布
最新推荐文章于 2023-12-27 17:53:17 发布
阅读量2.1k 收藏 1
点赞数
文章标签： 分布式存储
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tianmingqing0806/article/details/121429617
版权

文章目录

GlusterFS分布式文件系统

在这里插入图片描述

GlusterFS简介
开源分布式文件系统
PB级容量
高可用性
读/写性能
基于文件系统级别共享

​ GlusterFS（GNU ClusterFile System）是一种全对称的开源分布式文件系统，所谓全对称是指GlusterFS采用弹性哈希算法，没有中心节点，所有节点全部平等。GlusterFS配置方便，稳定性好，可轻松达到PB级容量，数千个节点。

​ 2011年被红帽收购，之后推出了基于GlusterFS的Red Hat Storage Server，增加了针对KVM的许多特性。可用作为KVM存储image存储集群，也可以为LB或HA提供存储。

GlusterFS术语：
Brick
Volume
Fuse
VFS
Glusterd

GlusterFS重要特性：
全对称架构
支持多种卷类型（类似RAID0/1/5/10/01）
支持卷级别的压缩
支持NFS
支持SMB
支持Hadoop
支持Openstack
支持kubernetes

GlusterFS重要概念：
brick:              GlusterFS的基本单元，以节点服务器目录形式展现。
Volume:             多个 bricks 的逻辑集合
Metadata:           元数据，用于描述文件、目录等的信息。
Self-heal:          用于后台运行检测复本卷中文件和目录的不一致性并解决这些不一致。
GlusterFS Server：  数据存储服务器，即组成GlusterFs存储集群的节点。
GlusterFS Client:   使用GlusterFS存储服务器的服务器，例如KVM、Openstack、LB RealServer、HA node。

准备机器

5台虚拟机(当然可以更多节点)
操作系统		 IP					主机名	
Centos7.4		192.168.62.203	   node1
Centos7.4		192.168.62.204	   node2
Centos7.4		192.168.62.135     node3
Centos7.4		192.168.62.166     node4

所有机器关闭防火墙

systemctl stop firewalld && setenforce 0

同步时间重要

yum -y install ntp		//时间服务 都下载

[root@mysql-1 ~]# vim /etc/ntp.conf //将下面两行添加进去
选取一个主机同步即可

server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10

在这里插入图片描述

[root@node1 ~]# systemctl restart ntpd

其余3台客户端同步时间：

[root@node2 ~]# yum -y install ntp
[root@node2 ~]# ntpdate node1

在这里插入图片描述
分别修改主机名称：

[root@192 ~]# hostnamectl set-hostname node1
[root@192 ~]# hostnamectl set-hostname node2
[root@192 ~]# hostnamectl set-hostname node3
[root@192 ~]# hostnamectl set-hostname node4

配置解析，所有机器：

[root@192 yum.repos.d]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.62.131 node01
192.168.62.231 node02
192.168.62.168 node03
192.168.62.166 node04

安装glusterfs服务（所有主机）

这条命令需要敲两遍，重点

yum install centos-release-gluster glusterfs-server samba rpcbind -y

如果下载失败，修改glusterfs的yum源配置文件
在这里插入图片描述
在这里插入图片描述
所有节点启动服务并设置为开机自启

[root@node1 ~]# systemctl start glusterd.service
[root@node1 ~]# systemctl enable glusterd.service

在这里插入图片描述## 创建Glusterfs集群
添加节点的过程就是创建集群的过程，在node01一台上操作就可以，不需要添加本节点

[root@node1 yum.repos.d]# gluster peer probe node02
peer probe: success. 
[root@node1 yum.repos.d]# gluster peer probe node03
peer probe: success. 
[root@node1 yum.repos.d]# gluster peer probe node04

查看状态

[root@node1 yum.repos.d]# gluster peer status
Number of Peers: 3

Hostname: node02
Uuid: c5c38696-787b-48f9-a4b8-9a38d0cef54f
State: Peer in Cluster (Connected)

Hostname: node03
Uuid: 5cf46129-304a-48c4-b354-4b7f661ed3bb
State: Peer in Cluster (Connected)

Hostname: node04
Uuid: 2d325694-953c-45c6-a284-68816c9e9cdc
State: Peer in Cluster (Connected)

从集群中删除节点

[root@node1 yum.repos.d]# gluster peer detach node04
All clients mounted through the peer which is getting detached need to be remounted using one of the other active peers in the trusted storage pool to ensure client gets notification on any changes done on the gluster configuration and if the same has been done do you want to proceed? (y/n) y
peer detach: success
[root@node1 yum.repos.d]# gluster peer status
Number of Peers: 2

Hostname: node02
Uuid: c5c38696-787b-48f9-a4b8-9a38d0cef54f
State: Peer in Cluster (Connected)

Hostname: node03
Uuid: 5cf46129-304a-48c4-b354-4b7f661ed3bb
State: Peer in Cluster (Connected)

重新添加

[root@node1 ~]#  gluster peer probe node04 	//重新添加回来

glusgerfs卷的类型*

基本类型：条带，复制，哈希。然后还有两两组合和三种类型同时使用，总共加起来共7种，新版的还有冗余卷
分布卷
在这里插入图片描述

分布巻

分布卷也称为哈希卷，多个文件在多个 brick 上使用哈希算法随机存储。
哈希卷类似与负载均衡（实际上不是很均衡），他会将完整的数据分成几个部分，分别存储在每一个brick上
应用场景:   大量小文件
优点：       读/写性能好
缺点：       如果存储或服务器故障，数据将丢失

创建数据分区
所有server节点分别创建/data0/gluster目录，所谓brick的位置，用于存储数据

mkdir -pv /data0/gluster

创建volume,在控制节点上操作

[root@node1 yum.repos.d]# gluster
Welcome to gluster prompt, type 'help' to see the available commands.

gluster> volume create datavol1 transport tcp node01:/data0/gluster/data1 node02:/data0/gluster/data1 node03:/data0/gluster/data1 node04:/data0/gluster/data1 force

volume create: datavol1: success: please start the volume to access data

启动volume

因为默认是分布巻（哈希卷），所以卷的类型没有指定，datavol1 这个volume拥有4个brick，分布在4个peer节点

gluster> volume start datavol1
volume start: datavol1: success

查看卷信息

gluster> volume info datavol1
 
Volume Name: datavol1
Type: Distribute
Volume ID: 45ca6286-f622-4902-b10d-ccc38febe137
Status: Started
Snapshot Count: 0
Number of Bricks: 4
Transport-type: tcp
Bricks:
Brick1: node01:/data0/gluster/data1
Brick2: node02:/data0/gluster/data1
Brick3: node03:/data0/gluster/data1
Brick4: node04:/data0/gluster/data1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

查看卷状态

gluster> volume status datavol1

删除卷
需要提前停止卷运行

gluster> volume stop datavol1		//停止
Stopping volume will make its data inaccessible. Do you want to continue? (y/n) y
volume stop: datavol1: success
gluster> volume delete datavol1		//删除
Deleting volume will erase all information about the volume. Do you want to continue? (y/n) y
volume delete: datavol1: success

找台虚拟机作为客户端，去挂载

[root@node4 ~]# mount -t glusterfs node01:/datavol1 /mnt
[root@node4 ~]# touch  /mnt/fenbu1.txt      #会随机分配到某个节点上
================================================================
去各个节点查看，不一定分布到哪个节点
[root@node1 ~]# ls /data0/gluster/data1/
fenbu1.txt
[root@node4 ~]# touch /mnt/fenbu2.txt

去各个节点查看，发现最终在node3节点上发现
[root@node3 ~]# ls /data0/gluster/data1/
fenbu2.txt

以上是volume的状态信息，可以看到在每一个节点上启动一个volume后，gluster会自动的启动相关的进程，Port机监听的端口。在使用ps去查看的时候此时会有3个进程：
    glusterd      #管理进程
    glusterfsd   #brick进程，因为本机上只有一个brick
    glusterfs     #默认启动的nfs的协议进程，是可以关闭的
在另外一个节点上会启动相同的进程。

卷的扩容和缩容

收缩卷

注意：收缩之前数据会自动迁移

[root@node1 glusterfs]# ls /data0/gluster/data1
fenbu1.txt
[root@node3 ~]# ls /data0/gluster/data1/
fenbu2.txt  fenbu3.txt
[root@node1 glusterfs]# gluster
gluster> volume remove-brick datavol1 node03:/data0/gluster/data1 start	//开启迁移
gluster> volume remove-brick datavol1 node03:/data0/gluster/data1 status	//查看迁移状态
gluster> volume remove-brick datavol1 node03:/data0/gluster/data1 commit	//提交
gluster> volume info  datavol1	//再次查看状态，就看不到node03了

数据也会自动迁移到其他节点的brick上

[root@node1 glusterfs]# ls /data0/gluster/data1		//随机移动到了这里
fenbu1.txt  fenbu2.txt  fenbu3.txt
[root@node3 mmm]# ls /data0/gluster/data1/		//就是空的了
[root@node3 mmm]#

卷的扩容

gluster> volume add-brick datavol1 node03:/data0/gluster/data1 force //扩容，但是数据自动分布上去
gluster> volume info datavol1	 //再次查看卷信息，就会有node03节点

卷的重新均衡

扩容之后，应当再做一次数据的重新均衡

gluster> volume rebalance datavol1 start
gluster> volume rebalance datavol1 status
gluster> volume rebalance datavol1 stop

复制卷

在这里插入图片描述`多个文件在多个brick上复制多份，brick的数目要与需要复制的份数相等，建议brick分布在不同的服务器上。
复制卷和条带卷必须要指定卷的类型，复制卷就是每一个brick中的数据都是一样的，都是写入数据的完整备份，相当raid1。
所以容量会减少一半，当然性能上也会有所消耗.

应用场景: 对可靠性和读性能要求高的场景
优点： 读性能好
缺点： 写性能差`

[root@node4 data1]# gluster
Welcome to gluster prompt, type 'help' to see the available commands.

创建复制卷

gluster> volume create datavol2 replica 2 transport tcp node01:/data0/gluster/data2 node02:/data0/gluster/data2 force

启动volume

gluster> volume start datavol2

查看volume状态

gluster> volume status

查看卷信息

gluster> volume info  datavol2

在这里插入图片描述
想要看到需要挂载
关于数据，存储节点会同步控制节点的数据，控制节点不会同步存储节点的数据

[root@node3 data2]# mount -t glusterfs node01:/datavol2 /mnt
[root@node3 data2]# ls /mnt/

[root@node3 data2]# cd /mnt/

[root@node3 mnt]# touch d.txt
[root@node1 mnt]# ls /data0/gluster/data2/
d.txt

[root@node2 data2]# cd /data0/gluster/data2/
[root@node2 data2]# ls
d.txt
一个运维小青年
关注
项目笔记：3.利用分布试存储(glusterfs)实现页面一致性
孔老先生的博客
06-27 1090
项目笔记：3.利用分布试存储(glusterfs)实现页面一致性 1、在192.168.0.4和192.168.0.5上安装glusterfs服务端并导出raid1+0分布式存储 # yum -y install glusterfs glusterfs-fuse glusterfs-server --glusterfs 的yum源之前讲过怎么搭建的 # /etc/init.d/
GlusterFS（GFS）分布式文件系统
ver_mouth__的博客
07-05 2940
前言：本章主要了解glusterFS的概述，重点了解glusterFS的工作原理，以及glusterFS的卷的类型。如何创建卷、部署客户端、测试文件以及一些其他的维护命令接口：文件系统接口功能模块（管理、存储的工具）：对对象管理里的软件集合对象及属性：（使用此文件系统的消费者）从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统主要负责为用户建立文件、存入、读出、修改、转储文件，控制文件的存取除了和文件系统以外的文件系统创建后要使用需要先挂载至挂载点后
安装GlusterFS实现文件同步
tryyourbest0928的博客
09-29 584
在192.168.10.11上执行 安装GlusterFS实现文件同步 # vim /etc/hosts 192.168.10.10 geoserver02 #安装glusterfs yum install centos-release-gluster yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma #启动gluster服务 systemctl start glusterd.service systemctl
Fastdfs分布式文件系统之文件同步机制
热门推荐
Mr_Smile2014的博客
08-04 1万+
从fastdfs文件系统结构中我们可以看出不管是上传文件、删除文件、修改文件及新增storager server，文件的同步都是同组 内多台storager server之间进行的； tracker server的配置文件中没有出现storage server，而storage server的配置文件中会列举出所有的tracker server。 这就决定了storage server和tracker server之间的连接由storage server主动发起，storage server为每个track
【GlusterFS系列-2】集群节点的时钟同步
lynne_cat的博客
10-14 787
一、目的 为搭建GlusterFS集群，保障节点间时钟同步。 二、环境 5台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。 192.168.10.145（NTP Server） 192.168.10.148（NTP Client） 192.168.10.149（NTP Client） 192.168.10.158（NTP Cl...
GlusterFS发布时间表 (Release Schedule)
weixin_34150503的博客
11-16 189
GlusterFS发布时间表 (Release Schedule)主版本（大版本）每4个月发布一次，次要版本（小版本）每个月发布一次。发布说明 Gluster版本发布分为主版本和次要版本。主版本通常包含新功能(除了bug修复)，次要版本是为了改善主版本的稳定性，提供bug反馈和修复。主要版本每4个月发布一次，并且在对应的次要版本会在接下来的12个月...
GlusterFS分布式文件系统
09-22
GlusterFS是一种统一的、多协议的分布式文件系统，能够支持数百节点以及数PB级别的数据扩展。它采用用户空间设计和全局统一命名空间，通过堆栈式架构实现，其scale-out能力允许在线扩展。GlusterFS中的“一切皆文件...
GlusterFS分布式文件系统概念及简单的部署操作实验
NicolasNRH的博客
03-31 2144
GlusterFS分布式文件系统
glusterfs java_GlusterFS分布式文件系统使用简介
weixin_33000813的博客
02-23 466
0术语简介GlusterFS是一个开源的分布式文件系统。更多特性介绍附录的参考文档。Brick:GFS中的存储单元，通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识，如'SERVER:EXPORT'Client: 挂载了GFS卷的设备Extended Attributes:xattr是一个文件系统的特性，其支持用户或程序关联文件/目录和元数据。FUSE:Filesyst...
Win2003利用dfs(分布式文件系统)在负载均衡下的文件同步配置方案如下
weixin_44400506的博客
01-10 422
因网站流量增加为了给网站减轻负担特需要文件同步与负载均衡，通过增加一台服务器，通过dfs配置实现文件的同步 1． 建议要同步的服务器为windows2003 sp2以上。 2． 确保要进行同步的计算机加入到域，并使用同一个域账户（最好是administrator）登录系统。系统没有开启防火墙。（没有加入域的话，请将计算机的aministrator账号的密码设为相同的密码，另外在每台机器的hosts...
分布式文件同步服务框架
11-21
核心特性 1.基于swoole和inotify实现分布式文件服务 2.采用协议包来实时同步文件、性能很高，采用sendfile传送文件，内存、cpu占有率很少 3.文件实时监控及监控子目录服务 4.自动断线重连服务 5.自动扫描本地已存在的文件目录实时同步服务
Go-brig是一个带有版本控制的分布式安全文件同步工具
08-13
brig 是一个带有版本控制的分布式安全文件同步工具。 它基于IPFS，用Go编写，对git用户来说会很熟悉。
glusterfs分布式文件系统用作文件同步安装配置
wolf
07-17 920
1.Glusterfs简介    GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。 说起glusterfs可能比较陌生，可能大
减少glusterfs超时时间
a363344923的专栏
08-01 632
当搭建两台节点的gluster replica环境，其中一台节点挂掉的时候，另一个节点在访问文件系统的目录时，会卡很久。这是由于超市时间默认是42S，可以通过减少对应的超时时间来减少等待的时间。 输入下面的命令，将双引号内的内容修改为新的超时时间。然后将shared修改为你的gluster卷名称。 gluster volume set shared network.ping-timeout "ne...
分布式数据同步
jie310600的博客
12-21 255
[b]分布式数据同步[/b] [b]多数据中心[/b] 1.在金融行业，都必须部署多个数据中心，避免在一个数据库机房故障之后，全部数据都不可用。(异地备份,主从备份) 2.数据一次写一份，日志写两份。由于日志文件实时同步，A服务器写完B服务器的日志文件，B服务器马上就写自己的数据文件。 [b]分布式系统数据一致性[/b] 数据复制的主要难题是保持各个副本的一致性。即在更新...
Rsync分布式应用
weixin_59629968的博客
11-15 303
rsync与scp不同之处就是可以同步文件时可以对文件进行选择，没有的文件也可以不用覆盖，可以进行选择。
rsync+inotify实现文件实时同步-步骤详解
weixin_34396103的博客
03-27 209
实验拓扑（centos7下）：192.168.80.181 服务器端（主机名www.aa.com）192.168.80.182 客户端（主机名www.ab.com）1、使用SSH源：安装rsync，服务端和客户端同时安装，只使用客户端命令就OK了。systemctl stop firewalldsetenforce 0yum install -y rsync---以上三句在服务器端和客户端都要执行...
分布式文件系统的数据迁移与同步：策略与技术
最新发布
程序员光剑
12-27 488
1.背景介绍 分布式文件系统(Distributed File System, DFS)是一种在多个计算机节点上存储数据，并提供统一访问接口的文件系统。与传统的本地文件系统不同，分布式文件系统可以在多个节点之间分布数据，实现数据的高可用性和高性能。在大数据时代，分布式文件系统已经成为了主流的文件存储解决方案。 数据迁移和同步是分布式文件系统的核心功能之一。在分布式文件系统中，数据需要在不同的节...
Perl实现FTP上传，达到分布式文件同步的功能
龙遥的世界
11-11 5081
使用到Perl脚本。以使在几台Linux上同步各文件。 代码如下：
CentOS 6.0-x86_64与GlusterFS分布式文件系统的集成体验
GlusterFS是一个开源的分布式文件系统，专为大规模扩展而设计，支持PB级别的存储容量和数千个客户端的并发访问。它利用TCP/IP或InfiniBand RDMA网络将分布在不同物理位置的存储资源整合成一个统一的全局命名空间，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值