一、目的: 由于hadoop只能在Linux环境下运行,所以对于在windwos系统下使用IDE工作的开发人员来说,调试是件麻烦的工作,所以我们今天要配置的Hadoop开发环境是在Windows XP系统下,并集成eclipse使开发人员在做hadoop开发时更容易调试。 二、本人配置的版本信息: windows XP系统, jdk1.6.0_05, eclipse-jee-indigo-win32 Release 3.7.0, cygwin 1.7.9-1, hadoop-0.20.2, 三、配置步骤: 1、安装cygwin: cygwin网上的资料很多,这里就不再详述。 2、JAVA安装 对于JAVA的安装与环境配置这里也不再详述,如果不清楚的话,百度一下你就知道了。 JAVA_HOME=C:/Java/jdk1.6.0_05 3、配置Hadoop 3.1、配置hadoop-env.sh文件,设置export JAVA_HOME=C:/Java/jdk1.6.0_05 3.2、配置HADOOP_HOME=D:\adsitcloud\hadoop-0.20.2 3.3、配置core-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/adsitcloud/temporary</value> </property> </configuration> 3.4、配置hdfs-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> 3.5、配置mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration> 3.6、Hadoop启动和一些基本命令 在cygwin环境中,进入Hadoop安装目录, cd /cygdrive/d/adsitcloud/hadoop-0.20.2 a、格式化hadoop命名节点:bin/hadoop namenode -format b、启动Hdfs和MapReduce,在这里可以全部启动:bin/start-all.sh c、以下是基本命令 bin/hadoop dsfadmin –report 查看运行状况,验证配置是否成功,查看datanodes中正常和不正常的个数 bin/hadoop dfs –mkdir yesq 创建名为yesq的目录 bin/hadoop dfs –put .bin/*.txt yesq 把上一目录下所有的txt文件上传到yesq目录 bin/hadoop dfs –ls yesq 列出yesq目录下的文件,输出文件列表信息,此时可以看到刚上传的txt文件。表时已经配置成功。 3.7、输入以下网址查看是否配置成功。 http://localhost:50070/dfshealth.jsp 点击:Browse the filesystem,并一直点击目录文件,此时也可以看到刚才上传的txt文件。 四、安装eclipse以hadoop-eclipse-plugin 4.1、eclipse的下载安装这里不再详述,如果不清楚的话,google一下你就知道的太多了。 4.2、安装hadoop-eclipse-plugin a、在eclipse的安装目录下新建文件夹:links b、新建链接文件,hadoop.link ,内容为:path=E:\\eclipsePlugins\\hadoop c、在path目录下新建文件夹:plugins,并把hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar放在该目录下,即:E:\eclipsePlugins\hadoop\plugins,hadoop-0.20.2的插件一定要用这个,如果用本身自带的0.20.2插件的话,eclipse调试时无法弹出Run on Hadoop d、删除E:\Program Files\eclipse\configuration下的org.eclipse.update文件夹 五、Eclipse结合Hadoop环境 a、启动eclipse b、点击Open Perspective>Other,此时可以看到Map/Reduce的小蓝像,点击选择,此时可以看到DFS Locations的一个树形目录,下面有localhost的大象以及在上面新建的目录,以及该新建目录下的txt文件。 c、点击左下角的Show View as a Fast View,再点击Other,此时可以看到 Map/Reduce Locations的小黄色大象, 此时右建选择 New Hadoop location...,弹出圣诞框。 d、点击General选项卡>输入 Location name:localhost>Map/Reduce Master下Host:localhost Port:9001> DFS Master下输入Port:9000>在User name下输入yesq>点击Finish。 e、在eclipse下配置HADOOP HOME,选择Window>Preferences>选择Hadoop MAP/Reduce>点击Browse...选择Hadoop安装目录,我的安装目录是:D:\adsitcloud\hadoop-0.20.2>点击OK。 六、结束语 到此在XP系统下配置eclipse集合Hadoop已经配置完成,可以进行开发了,在File New的时候可以看到Map/Reduce等图标。 |
在windows xp系统下配置eclipse集成hadoop开发
最新推荐文章于 2015-11-05 10:08:00 发布