前面的文章把hadoop集群已经配置起来了,并且也通过zookeeper做了高可用了。现在就要基于我们部署的hdfs进行一些开发工作。今天我们要介绍的就是如何配置,搭建开发需要的环境。如何通过java代码调用hadoop提供的api进行目录建立和文件上传的工作。
准备
windows系统
hadoop的安装文件
hadoop的配置文件:core-site.xml hdfs-site.xml
eclispe以及对应的hadoop插件:(这个需要各位去网上寻找,我这里不给大家链接了)
配置windows环境变量
如果在windows上面开发hadoop需要配置一些环境变量,例如hadoop的位置,以及访问的用户。
系统变量,HADOOP_HOME 的配置,这个是你hadoop安装文件的地址。也就是我们在linux服务器上面安装的hadoop文件,需要copy一份到windows上。
系统变量,HADOOP_USER 的配置。这里需要指明是root用户来访问hadoop服务器
系统变量,PATH中把HADOOP_HOME的配置加到最后。