【Alluxio集群系列】测试Alluxio+HDFS(Hadoop-2.7.7)集群性能(1)测试了“3.1.1 上传文件到Alluxio文件系统”与“3.1.2 Alluxio文件固化到HDFS”。
一、目的:
测试Alluxio+HDFS(Hadoop-2.7.7)集群性能。
二、环境:
2台虚拟机,CentOS Linux release 7.5.1804 (Core),内存3G,硬盘45G。
192.168.10.156,hmaster156,alluxio slave
192.168.10.162,hslave162,alluxio master
三、测试过程:
3.1 数据读写
3.1.3 释放Alluxio的文件
在本地(hslave162节点/usr/local/alluxio-for-hadoop-2.7.7/performance_test/路径下)创建测试文件release-from-alluxio_test.txt,并上传到alluxio的文件系统(/alluxio/data/目录)下。
在hslave162节点/usr/local/alluxio-for-hadoop-2.7.7/bin/路径下,以hadoop用户执行以下命令:
# 释放文件
./alluxio fs free /release-from-alluxio_test.txt
free并不会删除底层存储HDFS上的文件:
3.1.4 重新加载HDFS文件到Alluxio文件系统
在hslave162节点/usr/local/alluxio-for-hadoop-2.7.7/bin/路径下,以hadoop用户执行以下命令:
# 注意此处release-from-alluxio_test.txt的路径并非在HDFS的路径,仍然是在Alluxio的路径
./alluxio fs load /release-from-alluxio_test.txt
3.1.5 删除Alluxio的文件
在hslave162节点/usr/local/alluxio-for-hadoop-2.7.7/bin/路径下,以hadoop用户执行以下命令:
./alluxio fs rm /alluxio2hadoop_test.txt
rm会同时删除底层存储HDFS上的文件。