Hadoop生态圈(三)──HDFS客户端搭建与应用

外部客户端的搭建

早期我们在虚拟机搭建hadoop的开发环境的步骤已经暂且告一段落了,现在我们来开发客户端的搭建(感谢小毕同事的指导)

1.客户端软件

或者是你有idea

2.配置工具
配置eclipse环境
2.1在eclipse启动之前，将hadoop-eclipse-plugin-2.6.0.jar复制到eclipse的安装目录下的plugins(解决eclipse没有小象的问题)

2.2运行所需要的lib
3.进入项目
编辑小象

加载完成后就会出现小象…

4.加载jar包配置开发环境

5.创建java项目
1.创建项目
2.加载配置文件conf source资源文件让资源文件生效
3.引入conf是为了让客户端和虚拟机上的hadoop链接


6.编写测试类
6.1 测通环境

6.2 可能会出现问题比如说你的主机名unkown…这个可以在你的电脑上的c盘下面的System32的driver文件下的etc环境变量配置上你的虚拟机的ip和名称 (c盘文件的修改是需要权限的最好复制一份在外部修改然后再拖进来进行一个文件的改动)

7 文件系统的应用

FileSystem(hadoop)
1.exist的应用 返回值是boolean 判断文件是否存在
2.delete的应用 删除文件的
3.mkdir创建文件

4.文件的重命名
注意:对文件的操作 不是文件夹 不是文件夹 不是文件夹
rename:是对文件进行的操作,如果你的路径是文件的话那么说明这个是不可以生效的
返回结果也是boolean类型的

5.文件的上传
流式操作,通过输入流获取我要上传的文件,然后在输出,在最后有一个IOUtils的应用,四个参数分别是输入文件,输出文件,配置信息,使用完后是否关闭资源…

6 文件的下载操作

2019.6.13 总结
1.开发遇到问题:
首先关于环境变量:当我们配置好环境变量,进行使用的时候,最好试着去关机然后再恢复操作比如我今天的遇到的问题 没有找到winutils.exe执行,但是我的程序当中我有这个程序,很无奈我关闭了n次eclipse,清理很多次的缓存,无奈之下,听了身边同事的信息,----关机(没有什么是关机解决不了的问题),最后神奇的发现竟然 竟然ok! 如果你们也出现这些问题,你们也可以尝试关机！

2.开发上传和下载的思路 总结

3.希望能够大家学习到!! 坚持就是胜利!!