从hadoop平台下载文件到本地Windows

一、只能上传文件，不能下载

1、原因：

如果在Windows中没有配置hadoop的环境变量，用idea远程连接上hadoop平台之后，只能往hadoop上推送数据文件，并不能下载文件，因为下载时hadoop会检测本地有无hadoop环境配置，所以我们需要安装winutils，在windows本地模拟一个hadoop环境，这样就可以将hadoop上的文件下载下来。winutils项目：这是一个针对Windows系统的Hadoop实用程序集合，使Windows用户也能轻松搭建和运行Hadoop生态系统。

要下载符合对应的hadopp版本的winutils，下载地址GitCode - 全球开发者的开源社区,开源代码托管平台GitCode是面向全球开发者的开源社区,包括原创博客,开源代码托管,代码协作,项目管理等。与开发者社区互动,提升您的研发效率和质量。https://gitcode.com/gh_mirrors/wi/winutils/?utm_source=artical_gitcode&index=top&type=card&webUrl

解决方法：

1.复制解压后的winutils地址

 

2、配置环境变量

3、重启idea

配置winutils完成后要重启idea，让环境变量生效！只需要配置HADOOP_HOME就行，可以不用放到PATH里面。

二、hdfs的读写（i/o）命令

注意hadoop中的读写命令，fs.read(),fs.write()只是在hdfs中进行，读取hdfs上的文件，再写到hdfs上的某个的目录下，如果目录不存在，create方法也会创建一个，这仅仅是在hdfs上的输入输出流，不能读hdfs上的文件内容然后再输出到windows上

三、上传文件报错：

如果上传文件的时候，出现FileNotFount（找不到文件错误），要么文件不存在，要么大多都是配置了相对路径而导致的错误！点击EditConfig,找出当前的工作路径在哪，修改成合理的相对路径再上传，或者就直接用绝对路径，尽量避免相对路径

报错情况：

1、打开当前工作路径

2、查看当前工作路径