windows7下java代码从远程hadoop服务上下载文件

1. 在windows7下无法下载远程hdfs服务上的文件

1. 问题原因

1. hadoop官方不支持windows平台,没有windows版本的hadoop,想在windows上运行hadoop很麻烦
2. 官方下载的hadoop安装包中缺少两个文件hadoop.dll和winutils.exe,用于支持windows

2. 解决方法

1. 下载hadoop安装包并解压缩到windows硬盘中,可以linux中的hadoop文件夹下载到windows
2. 添加/bin和/sbin到环境变量HADOOP_HOME
   ~\hadoop-2.7.6\sbin;~\hadoop-2.7.6\bin
3. 下载我上传的两个文件hadoop.dll和winutils.exe
4. 将本文件解压放到~\hadoop-2.7.6\bin
5. 将hadoop.dll放到C:\Windows\System32
6. 启动idea
   

   文件下载地址
   https://download.csdn.net/download/wxfghy/10437193

3. 版本无所谓

1. 起初我认为hadoop.dll和winutils.exe要和hadoop版本一致,后来发现这个文件夹并不会被运行,所以版本无所谓
2. 如果要在windows上运行hadoop,大概还是要版本一致吧,我上传的为2.7.4版本

2. 在idea中测试下载hdfs上的文件

1. 通过maven项目添加hadoop-client依赖库和junit依赖库
2. 通过java代码调用hdfs服务并下载文件

    @Test
    public void demo01() throws URISyntaxException, IOException, InterruptedException {
        // 设置配置对象
        Configuration cfg=new Configuration();
        //FileSystem.get(hdfs协议形式的Url对象,本地配置对象,传递的用户名)
        //hadoop的hdfs文件系统支持多种协议,必须指定Hdfs协议否则默认使用本地文件file:///协议
        FileSystem fs = FileSystem.get(new URI("hdfs://master:9000/"),cfg,"hadoop");
        //URI网络指定标识符,作为hdfs协议的唯一标识,定位到具体位置,user如果不写会报写入权限错误
        fs.copyToLocalFile(new Path("/minput/abc.txt"),new Path("D:/"));
        // 下载文件需要本地hadoop的支持,否则会报错
        fs.close();
    }