【Hadoop环境搭建】九.分布式离线计算框架---MapReduce

Hadoop中有两个重要的组件：一个是HDFS，另一个是MapReduce，HDFS主要用来存储大批量的数据，而MapReduce则是通过计算来发现数据中有价值的内容。
本章我们主要介绍MapReduce中的以下几方面内容：

• MapReduce的应用场景、工作机制和编程模型
• MapReduce的执行原理
• WordCount本地测试实例

9.1 安装Linux版本的eclipse

9.1.1 下载安装包并解压文件
首先在eclipse官网下载Linux版本的eclipse，这里我下载的是eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz
下载地址：https://www.eclipse.org/downloads/packages/release/luna/sr2
根据自己的电脑选择32位或者64位版本的下载

下载完成后使用MobaXterm上传到root下面的app文件夹，并使用下面的tar命令解压到该文件夹中

tar -zxvf eclipse-jee-indigo-SR2-linux-gtk-x86_64.tar.gz

9.1.2 启动eclipse
这里有几种启动eclipse的方法（这里我均以/root/workspace作为工作目录）：
（1）进入到/root/app/eclipse文件夹下，双击eclipse即可启动（这里我的不可以）

（2）使用命令行进入/root/app/eclipse，输入./eclipse即可启动eclipse

这里有一个警告，字面意思是MaxPermSize不需要我们配置了，所以我就按照它的方法把default VM arguments中MaxPermSize参数给删掉就不会出现上面的提示了。
解决方法：
点击工具栏window - Preferences，点击java - Installed jres，找到对应的jre，对其进行编辑即可。

在java7中设置参数：-Xmx512m -XX:MaxPermSize=128m
在java8中设置参数：-Xmx512m

（3）创建桌面快捷方式
方法一：
1）右击桌面，点击“Create Launcher”

2）打开“Create Launcher”界面->填写软件“名称”->选择“可执行文件的路径”->选择“图标”->“OK”

3）启动eclipse进程
双击桌面上的Eclipse图标，启动eclipse进程

方法二：
使用上面方法不行的话（比如说点击右键没有“Create Launcher”），可以使用这种方法
1）在root用户的桌面环境下，给eclipse创建桌面快捷方式：

touch /usr/share/applications/eclipse.desktop

2）vim /usr/share/applications/eclipse.desktop
添加如下内容：

[Desktop Entry]
Type=Application
Name=eclipse
Exec=/root/app/eclipse/eclipse  //存放eclipse的绝对路径
GenericName=eclipse
Comment=Java development tools
Icon=/root/app/eclipse/icon.xpm  //eclipse图标存放路径
Categories=Applicatio