使用HDFS API完成HDFS文件系统上的文件的词频统计代码重构!
上篇文章说到硬编码在正常的工作当中是非常忌讳的所以我们必须要重构代码,变成可配置编码!
1.新建一个资源包新建wc.properties文件
INPUT_PATH=/hdfsapi/test/hello.txt
OUTPUT_PATH=/hdfsapi/output
OUTPUT_FILE=wc.out
HDFS_URI=hdfs://hadoop01:8020
MAPPER_CLASS=com.imooc.bigdata.hadoop.hdfs.CaseIgnoreWordCountMapper
2.编辑常量
/**
* 常量
*/
public class Constants {
public static final String INPUT_PATH = "INPUT_PATH";
public static final String OUTPUT_PATH = "OUTPUT_PATH";
public static final String OUTPUT_FILE = "OUTPUT_FILE";
public static final String HDFS_URI = "HDFS_URI";
public static final String MAPPER_CLASS = "MAPPER_CLASS";
}
3.编写读取属性配置文件
import java.io.IOException;
import java.util.Properties;
/**
* 读取属性配置文件
*/
public class ParamsUtils {
private static Properties properties =