Hadoop中有两个重要的组件:一个是HDFS,另一个是MapReduce,HDFS主要用来存储大批量的数据,而MapReduce则是通过计算来发现数据中有价值的内容。
本章我们主要介绍MapReduce中的以下几方面内容:
- MapReduce的应用场景、工作机制和编程模型
- MapReduce的执行原理
- WordCount本地测试实例
9.1 安装Linux版本的eclipse
9.1.1 下载安装包并解压文件
首先在eclipse官网下载Linux版本的eclipse,这里我下载的是eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz
下载地址:https://www.eclipse.org/downloads/packages/release/luna/sr2
根据自己的电脑选择32位或者64位版本的下载
下载完成后使用MobaXterm上传到root下面的app文件夹,并使用下面的tar命令解压到该文件夹中
tar -zxvf eclipse-jee-indigo-SR2-linux-gtk-x86_64.tar.gz
9.1.2 启动eclipse
这里有几种启动eclipse的方法(这里我均以/root/workspace
作为工作目录):
(1)进入到/root/app/eclipse
文件夹下,双击eclipse即可启动(这里我的不可以)
(2)使用命令行进入/root/app/eclipse
,输入./eclipse
即可启动eclipse
这里有一个警告,字面意思是MaxPermSize不需要我们配置了,所以我就按照它的方法把default VM arguments中MaxPermSize参数给删掉就不会出现上面的提示了。
解决方法:
点击工具栏window - Preferences,点击java - Installed jres,找到对应的jre,对其进行编辑即可。
在java7中设置参数:-Xmx512m -XX:MaxPermSize=128m
在java8中设置参数:-Xmx512m
(3)创建桌面快捷方式
方法一:
1)右击桌面,点击“Create Launcher”
2)打开“Create Launcher”界面->填写软件“名称”->选择“可执行文件的路径”->选择“图标”->“OK”
3)启动eclipse进程
双击桌面上的Eclipse图标,启动eclipse进程
方法二:
使用上面方法不行的话(比如说点击右键没有“Create Launcher”),可以使用这种方法
1)在root用户的桌面环境下,给eclipse创建桌面快捷方式:
touch /usr/share/applications/eclipse.desktop
2)vim /usr/share/applications/eclipse.desktop
添加如下内容:
[Desktop Entry]
Type=Application
Name=eclipse
Exec=/root/app/eclipse/eclipse //存放eclipse的绝对路径
GenericName=eclipse
Comment=Java development tools
Icon=/root/app/eclipse/icon.xpm //eclipse图标存放路径
Categories=Applicatio