大数据系列hadoop——开发环境配置

目录

简介

安装配置插件

环境变量

代码中的配置

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

mapReduce

---

简介

       一般来说，我们的hadoop部署在linux服务器上，我们在windows上用eclipse进行开发，所以我们要进行开发环境配置。

       工具和版本号

       JDK：1.8

       Eclipse：Jee Oxygen

       Hadoop：2.6.5

       hadoop-eclipse-plugin：2.6.5

       winutils.exe

       hadoop.dll

安装配置插件

      下载插件，放到eclipse安装目录下的dropins文件夹中，重启eclipse

      

      注意服务端必须对外开放9000端口， 或者在防火墙中进行配置

      

环境变量

       下载hadoop到开发机并解压，将winutils.exe放到bin目录下

       把hadoop.dll放到Syst