4.5. HDFS 的 java 访问接口
4.5.1. 搭建 Hadoop 开发环境
我们在工作中写完的各种代码是在服务器中运行的, HDFS 的操作代码也不例外。在开
发阶段, 我们使用 windows 下的 eclipse 作为开发环境, 访问运行在虚拟机中的 HDFS。 也就
是通过在本地的 eclipse 中的 java 代码访问远程 linux 中的 hdfs。
要使用宿主机中的 java 代码访问客户机中的 hdfs,需要保证以下几点:
确保宿主机与客户机的网络是互通的
确保宿主机和客户机的防火墙都关闭,因为很多端口需要通过,为了减少防火墙配置,
直接关闭
确保宿主机与客户机使用的 jdk 版本一致。如果客户机使用 jdk6,宿主机使用 jdk7, 那
么代码运行时会报不支持的版本的错误
宿主机的登录用户名必须与客户机的用户名一直。比如我们 linux 使用的是 root 用户,
那么 windows 也要使用 root 用户,否则会报权限异常
在 eclipse 项目中覆盖 hadoop 的 org.apache.hadoop.fs.FileUtil 类的 checkReturnValue 方
法,如图
如果读者在开发过程中出现权限等问题,请按照本节的提示检查自己的环境。
4.5