Java调用hdfs出现java.lang.VerifyError: class org.apache.hadoop.hdfs.protocol.proto异常

最新推荐文章于 2024-01-03 17:48:56 发布

judy1017

最新推荐文章于 2024-01-03 17:48:56 发布

阅读量4.1k

点赞数 2

分类专栏： Java 文章标签： java

本文链接：https://blog.csdn.net/judy1017/article/details/49496213

版权

Java程序访问Hadoop HDFS时遇到`java.lang.VerifyError`，原因是protobuf-java版本冲突。解决办法是在pom文件中排除低版本protobuf依赖，通过maven-helper插件检查并解决冲突。

摘要由CSDN通过智能技术生成

1. 问题背景：

Java程序访问Hadoop的分布式文件系统（hdfs），如下面语句：

	private List<String> readCsvFile(String path) throws IOException {
		CosmosLogin.loginFromPasswd(ROLE_NAME + "@XXX.COM", ROLE_PASSWORD);
		HdfsConfiguration hdfsConf = new HdfsConfiguration();
		hdfsConf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());
		hdfsConf.set("fs.file.impl", org.apache.hadoop.fs.LocalFileSystem.class.getName());
		FileSystem fs = FileSystem.get(hdfsConf);
		List<String> lines = new ArrayList<String>();
		try {
			BufferedReader reader = new BufferedReader(new InputStreamReader(fs.open(new Path(path))));
			String line;
			while ((line = reader.readLine()) != null) {
				lines.add(line);
			}
			reader.close();
		} finally {
			fs.close();
		}
		return lines;
	}

每次访问到标红语句 FileSystem.get(hdfsConf) 时抛出运行时异常&#x