java使用FileSystem上传文件到hadoop分布式文件系统配置

最新推荐文章于 2021-03-02 00:54:49 发布

weixin_34095889

最新推荐文章于 2021-03-02 00:54:49 发布

阅读量205

点赞数

文章标签：大数据 java

原文链接：http://www.cnblogs.com/lizhonghua34/p/6652497.html

版权

Configuration conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://sparkcluster");

conf.set("dfs.nameservices", "sparkcluster");

conf.set("dfs.ha.namenodes.sparkcluster", "nn1,nn2");

conf.set("dfs.namenode.rpc-address.sparkcluster.nn1", "tuxedo:8020");

conf.set("dfs.namenode.rpc-address.sparkcluster.nn2", "ecup-mgr:8020");

conf.set("dfs.client.failover.proxy.provider.sparkcluster", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
// conf.set("fs.defaultFS", "hdfs://tuxedo");
/**
* 参数优先级： 1、客户端代码中设置的值 2、classpath下的用户自定义配置文件 3、然后是服务器的默认配置
*/
// conf.set("dfs.replication", "3");

// 获取一个hdfs的访问客户端，根据参数，这个实例应该是DistributedFileSystem的实例
fs = FileSystem.get(conf);

转载于:https://www.cnblogs.com/lizhonghua34/p/6652497.html