宿主机程序访问虚拟机HDFS

最新推荐文章于 2022-12-07 10:24:42 发布

_Lance

最新推荐文章于 2022-12-07 10:24:42 发布

阅读量2.5k

点赞数

分类专栏： Hadoop 文章标签： hdfs linux

本文链接：https://blog.csdn.net/qq_19648191/article/details/54862282

版权

本文介绍了如何在宿主机上访问虚拟机中的HDFS文件系统。需求是在Windows E盘复制HDFS上的/user/hadoop/input/protocols文件。环境为CentOS6.7和hadoop2.6.0。遇到的问题包括端口连接拒绝和无内容响应，解决方法涉及配置iptables及检查防火墙设置。

摘要由CSDN通过智能技术生成

需求

读取HDFS上的/user/hadoop/input/protocols，并写到windows的E盘下。

软硬件

CentOS6.7

hadoop2.6.0

IDEA 2016

资源

[hadoop@name01 hadoop]$ hadoop fs -ls /user/hadoop/input
-rw-r--r--   1 hadoop supergroup       6455 2017-02-03 03:26 /user/hadoop/input/protocols

测试代码

这里就不给出详细代码了

String outputDir = "e:/protocols";

FileSystem fs = null;
InputStream in = null;
OutputStream out = null;
try {
    //Config and open
    Configuration conf = new Configuration();
    fs = FileSystem.get(URI.create("hdfs://192.168.147.128:9000"), conf);
    in = fs.open(new Path("/user/hadoop/input/protocols"));

    //Read and output
    out = new FileOutputStream(outputDir);
    //读取并写资源到本地
} catch (IOException e) {
    //异常检测
} finally {