【Alluxio+GlusterFS集群系列-2】测试Alluxio+GlusterFS集群性能

一、目的：

测试Alluxio+GlusterFS集群性能。

二、环境：

5台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。

（1）Alluxio集群概况

IP	hostname	Alluxio集群的角色
192.168.10.145	master145	Alluxio Worker
192.168.10.148	slave148	Alluxio Worker
192.168.10.149	slave149	Alluxio Worker
192.168.10.158	client158	Alluxio Master
192.168.10.159	client159	Alluxio Worker

（2）GlusterFS集群概况

IP	hostname	GlusterFS集群的角色
192.168.10.145	master145	GlusterFS Master
192.168.10.148	slave148	GlusterFS Slave
192.168.10.149	slave149	GlusterFS Slave
192.168.10.158	client158	GlusterFS Client
192.168.10.159	client159	GlusterFS Client

三、数据读写

3.1 本地文件上传到Alluxio文件系统

（1）root用户在client159节点/usr/local/alluxio-2.1.0/performance_test/路径下创建测试文件local2alluxio_test159.txt：

cat>>local2alluxio_test159.txt
update a file from local to alluxio file system
# ctrl+D退出

（2）root用户在client159节点/usr/local/alluxio-2.1.0/bin/路径下将测试文件上传至alluxio文件系统：

./alluxio fs copyFromLocal /usr/local/alluxio-2.1.0/performance_test/local2alluxio_test159.txt /

该测试文件被自动挂载到内存，但并没有被持久化。

3.2 Alluxio文件持久化至GlusterFS

root用户在client159节点/usr/local/alluxio-2.1.0/bin/路径下将测试文件local2alluxio_test159.txt固化至GlusterFS：

./alluxio fs persist /local2alluxio_test159.txt

出现问题及解决方案：

问题
解决方案	修改/usr/local/alluxio-2.1.0/conf/路径下配置文件alluxio-site.properties： alluxio.master.hostname=client158 alluxio.master.mount.table.root.ufs=/data/gluster/app1-mydata alluxio.worker.tieredstore.level0.dirs.path=/usr/local/alluxio-2.1.0/ramdisk alluxio.user.file.writetype.default=CACHE_THROUGH # 添加了这一行
结果	不确定是否因为以上改动，现在可以持久化了：

3.3 从Client上传文件至GlusterFS

将client159的/var/client-data/app1-mydata/挂载到GFS Volume：

mount.glusterfs master145:/app1-mydata-vol /var/client-data/app1-mydata

在client159的/var/client-data/app1-mydata/路径下创建测试文件client2gluster2alluxio_test.txt，则文件会自动上传到master145和slave148的/data/gluster/app1-mydata/文件夹下。与HDFS不同的是，文件并没有自动上传到Alluxio文件系统。

但不知道为什么master145和slave148路径/data/gluster/app1-mydata/下图像和视频文件也被复制到client159的/var/client-data/app1-mydata/路径下。

3.4 从GlusterFS加载文件到Alluxio文件系统（未完成）

# 暂未实现

四、数据读写性能测试

4.1 本地文件上传到Alluxio文件系统性能测试

（1）将client159路径/var/client-data/app1-mydata/下测试文件Zootopia-persisted.mp4上传至Alluxio文件系统：

# 在/usr/local/alluxio-2.1.0/bin路径下
./alluxio fs copyFromLocal /var/client-data/app1-mydata/Zootopia-persisted.mp4 /

测试文件自动持久化至master145和slave148的/data/gluster/app1-mydata/路径下。

（2）在client159节点执行如下代码，测试性能：

# 在/usr/local/alluxio-2.1.0/bin路径下
time ./alluxio fs cat /Zootopia-persisted.mp4 | grep -c a

 

问题：是否包含上传+持久化两阶段时间？