阿里云Hadoop集群 Java客户端操作（血泪啊！！！）

最新推荐文章于 2022-01-06 14:31:16 发布

失去我的记忆

最新推荐文章于 2022-01-06 14:31:16 发布

阅读量417

点赞数 1

分类专栏：随笔

本文链接：https://blog.csdn.net/qq_37847316/article/details/104194471

版权

这篇博客主要讲述了在阿里云上配置Hadoop集群时遇到的问题，特别是Java客户端操作时的服务端端口配置。文章指出，由于阿里云集群要求使用内网IP，必须在hdfs-site.xml中设置`dfs.client.use.datanode.hostname`为`true`，以允许通过公网IP访问内网IP。作者推荐了一个详细的配置教程链接以供参考。

摘要由CSDN通过智能技术生成

所报错误：

服务的端配置：在hdfs-site.xml中添加

<!-- 如果是通过公网IP访问阿里云上内网搭建的集群 -->
        <property>
                <name>dfs.client.use.datanode.hostname</name>
                 <value>true</value>
        <description>only cofig in clients</description>

上代码：：

@Test
    public void put() throws IOException, InterruptedException {
        Configuration configuration=new Configuration();
        configuration.set("dfs.client.use.datanode.hostname", "true");
        FileSystem fileSystem= FileSystem.get(URI.create("hdfs://59.110.162.115:9000"),configuration,"root");
        fileSystem.copyFromLocalFile(new Path("D:\\linux经验.txt&#