问题1:Couldn’t create proxy provider class org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverPro
- hadoop处于ha高可用模式了
需要将高可用环境下的hdfs-site.xml文件复制到idea的resource下,特别是其中的
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
问题2:Class org.apache.hadoop.hdfs.DistributedFileSystem not found
- idea中需要加入hadoop-client的依赖,尤其是3版本以后的hadoop
(区别比如2版本的hadoop的DistributedFileSystem包在hadoop-hdfs依赖里面,而3版本的依赖在hadoop-client里面)
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.3</version>
</dependency>