90%程序员都应该知道的hadoop开发，动手搭建Hadoop

 

01 ssh免密安装

02 jdk安装

03 hadoop伪分布式安装

04 hadoop全分布式

05 hadoop高可用

前面的文章把hadoop集群已经配置起来了，并且也通过zookeeper做了高可用了。现在就要基于我们部署的hdfs进行一些开发工作。今天我们要介绍的就是如何配置，搭建开发需要的环境。如何通过java代码调用hadoop提供的api进行目录建立和文件上传的工作。

准备

windows系统

hadoop的安装文件

hadoop的配置文件：core-site.xml hdfs-site.xml

eclispe以及对应的hadoop插件：（这个需要各位去网上寻找，我这里不给大家链接了）

配置windows环境变量

如果在windows上面开发hadoop需要配置一些环境变量，例如hadoop的位置，以及访问的用户。

系统变量，HADOOP_HOME 的配置，这个是你hadoop安装文件的地址。也就是我们在linux服务器上面安装的hadoop文件，需要copy一份到windows上。

 

系统变量，HADOOP_USER 的配置。这里需要指明是root用户来访问hadoop服务器

 

系统变量，PATH中把HADOOP_HOME的配置加到最后。