文章目录
一. 实验目的
掌握MapReduce编程实践技术。
二. 实验内容
1) 基于ubuntukylin14.04(7)版本,安装hadoop-eclipse-kepler-plugin-2.6.0.jar,形成ubuntukylin14.04(8)版本。
2) 基于ubuntukylin14.04(8)版本,通过eclipse完成MapReduce编程实践。
参考:http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/
三. 实验步骤及结果分析
1. 基于ubuntukylin14.04(7)版本,安装hadoop-eclipse-kepler-plugin-2.6.0.jar
版本说明:ubuntukylin14.04(7)=hadoop集群(hadoop2.6.0版本)+hbase伪分布式(hbase1.1.2版本)
注:hadoop-eclipse-plugin下载地址为: https://github.com/winghc/hadoop2x-eclipse-plugin
1.1 安装hadoop-eclipse-plugin
首先下载插件,然后输入unzip -qo ~/下载/hadoop2x-eclipse-plugin-master.zip -d ~/下载
命令将其解压到下载目录,然后输入sudo cp ~/下载/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-2.6.0.jar /opt/eclipse/plugins/
命令将hadoop-eclipse-kepler-plugin-2.6.0.jar复制到ecljpse安装目录的plugins文件夹中。然后输入/opt/eclipse/eclipse -clean
命令启动eclipse使插件生效。
1.2 配置hadoop-eclipse-plugin
首先输入start-dfs.sh
、start-yarn.sh
、mr-jobhistory-daemon.sh start historyserver
三个命令启动Hadoop集群,然后启动eclipse。
点击导航栏Windows→Show View→Project Explorer,在左侧就会显示出DFS Locations。
然后点击导航栏Windows→Preferences→左侧Hadoop Map/Reduce→在Hadoop installation directory中填写Hadoop的安装地址/usr/local/hadoop
→Apply and Close。
然后点击导航栏Windows→Perspective→Open Perspective→Other→Map/Reduce→Open,就会在控制台下方显示Map/Reduce Locations面板。
在Map/Reduce Locations面板中右击→New Hadoop location…→Location name自定义→Map/Reduce(V2)Master的Host为K1
、Port默认→DFS Master的Port为9000
→User name默认→Finish。其中,因为我的Hadoop是集群式,设置的fs.defaultFS为hdfs://K1:9000,所以DFS Maser要与其对应。
2. 基于ubuntukylin14.04(8)版本,通过eclipse完成MapReduce编程实践
版本说明:ubuntukylin14.04(8) =hadoop集群(hadoop2.6.0版本)+hbase伪分布式(hbase1.1.2版本)+安装好hadoop-eclipse-kepler-plugin-2.6.0.jar
2.1 通过eclipse操作HDFS文件
确保已经启动了Hadoop集群,然后打开eclipse,此时展开左侧DFS Locations就可以查看HDFS中的文件,然后可以通过右键进行上传、下载、删除等操作,不用再通过繁琐的hdfs dfs -ls
等命令进行操作。
2.2 通过eclipse创建MapReduce项目
点击导航栏File→New→Project…→选中Map/Reduce Project→Next→Project name为mcf14HDFSgzxm→Finish,然后在左侧就能看到创建的项目了。