hadoop压力测试 hadoop集群压力测试 hdfs压力测试

使用hadoop官方工具遇到了一些问题（附录详写），所以自己编写了测试用例进行压力测试

首先pom文件引入lombok,hadoop和hdfs的依赖包

<properties>
    <lombok.version>1.16.20</lombok.version>
    <hadoop.version>2.7.7</hadoop.version>
</properties>

	<dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <version>${lombok.version}</version>
        <scope>provided</scope>
    </dependency>
	<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>${hadoop.version}</version>
    </dependency>

下面是我编写的测试用例（需要配置的注释已给出,需要配置的路径需要自行配置），编译后直接放到一台有linux服务器上进行测试，测试命令为

java -cp./*; hadoop.HLT

其中-cp./*是要引入测试用例需要的jar包，请把项目打包后获取lib下的jar包

import lombok.SneakyThrows;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.co