Hadoop环境搭建与入门实例

1目的及要求

基于Hadoop平台，实现广度优先搜索(BFS)的Mapreduce算法找到图中两个点的最短路径。

给定一个图<V，E>（采用邻接列表输入文件格式：源节点ID，相邻节点ID，源节点到相邻节点的距离），基于MapReduce的方式，采用广度优先搜索(BFS)找到两个顶点的最短距离。

 

2实验环境

本实验基于虚拟机环境，所采用的软件及其版本如下：

虚拟机软件：Oracle VirtualBox 5.2.6

虚拟机操作系统：Ubuntu 16.04.1 LTS - 64 bit

Java环境：JDK-1.8

Hadoop平台：Hadoop 2.7.6

 

3实验内容与步骤

3.1实验环境搭建

3.1.1搭建Java开发环境

1）键入如下命令将jdk软件包解压至指定目录：

tar -zxvf jdk-8u181-linux-x64.tar.gz -C your_java_home

2）键入如下命令编辑profile文件：

sudo vim /etc/profile

设置jdk环境变量，在profile文件的末尾添加如下内容：

export JAVA_HOME=your_java_home

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$PATH

需要注意的是，设置CLASSPATH环境变量时，等号后面有个点，代表当前目录。

3）键入如下命令，让环境变量立即生效：

source /etc/profile

4）检查jdk是否安装好，键入如下命令&