/**
* 获取1号店生鲜食品的分类id字符串
* @param filePath
* @return
*/
public String getYHDSXCategoryIdStr(String filePath) {
final String DELIMITER = new String(new byte[]{1});
final String INNER_DELIMITER = ",";
// 遍历目录下的所有文件
BufferedReader br = null;
try {
FileSystem fs = FileSystem.get(new Configuration());
FileStatus[] status = fs.listStatus(new Path(filePath));
for (FileStatus file : status) {
if (!file.getPath().getName().startsWith("part-")) {
continue;
}
FSDataInputStream inputStream = fs.open(file.getPath());
br = new BufferedReader(new InputStreamReader(inputStream));
String line = null;
while (null != (line = br.readLine())) {
String[] strs = line.split(DELIMITER);
String categoryId = strs[0];
String categorySearchName = strs[9];
if (-1 != categorySearchName.indexOf("0-956955")) {
yhdsxCategoryIdStr +
Java API 读取HDFS目录下的所有文件
最新推荐文章于 2023-09-05 17:02:50 发布
这篇博客详细介绍了如何利用Java的API来读取并遍历Hadoop HDFS文件系统中的目录及其包含的所有文件,内容涵盖了相关API的使用方法和示例代码。
摘要由CSDN通过智能技术生成