Ubuntu14.04下搭建hadoop2.x（单机篇）

一、准备工作

1、安装Ubuntu14.04的操作系统，在此不再详细讲述。
2、下载hadoop包，可以直接去 官网 下载。
3、截至到我写这篇博客时，最新版本为2.7.1，在此为了方便大家熟悉安装和配置过程，仍然使用2.4.0的版本来介绍。

---

---

二、单机模式下的配置过程

---

2.1 创建hadoop用户组/用户

这一部分的配置，可以选择性忽略。
1、创建hadoop用户组 sudo addgroup hadoop
2、创建hadoop用户 sudo adduser -ingroup hadoop hadoop
3、为hadoop用户添加权限 打开sudoers文件 ，命令为sudo gedit /etc/sudoers,给hadoop用户设置权限，参考root的权限设置。
4、用hadoop用户登录系统。

---

2.2 安装SSH并配置免密码登录

1、安装ssh-server

一般新装的Ubuntu系统不会默认安装ssh-server，一定要确保已经安装了ssh-server，否则下面整个免密码登录的配置过程毫无作用。
安装命令：sudo apt-get install openssh-server
安装完后启动：sudo /etc/init.d/ssh start

2、配置免密码登录

在各个过程需要三步即可完成：
1) ssh-keygen -t rsa -P ""(会有多次提示输入，直接回车确定即可)
2)cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys(这一步是将公钥加到authorized_keys)
3)ssh localhost
(这一步为登录ssh，可用来测试，正确配置后登录不再需要密码)

---

2.3 安装JDK

此处略过，网上教程很多，请自行参考！：)

---

2.4 安装hadoop

1、安装

将已经下好的hadoop-2.4.0.tar.gz解压（我把hadoop放在了/home/sl下,sl是我自己的用户名）
sudo tar xzf hadoop-2.4.0.tar.gz
sudo mv 解压后hadoop所在位置 /home/sl

2、修改配置文件

1) 配置 .bashrc文件
sudo gedit ~/.bashrc
在文件末尾添加如下内容：
export JAVA_HOME=写自己的jdk路径
export HADOOP_INSTALL=/home/sl/hadoop-2.4.0（写自己的hadoop路径）
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
写完后保存退出，并刷新环境配置：
source ~/.bashrc

2) 配置hadoop-env.sh文件
打开hadoop-env.sh文件：
sudo gedit /home/sl/hadoop/etc/hadoop/hadoop-env.sh
修改JAVA_HOME为之前配置的jdk的路径，如果文件中本身没有JAVA_HOME，则需要自行在文件末尾添加：
export JAVA_HOME = 你自己的jdk路径

---

2.5 WordCount测试

单机模式的配置其实很简单，我们可以通过hadoop自带的WordCount来测试一下之前的配置是否成功。
cd /home/sl/hadoop
sudo mkdir input
sudo cp README.txt input (可以随便复制点什么内容过来)

运行WordCount：bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

查看运行结果：cat output/*

---

至此，hadoop2.4.0单机模式配置完成！