hadoop之单机模式

先介绍下hadoop有3种搭建模式

• 单机模式
• 伪分布式模式
• 完全分布式模式   

现在做个简单的单机模式搭建，单机模式的搭建，主要用于调试方便吧。

首先需要配置JAVA_HOME

下载JDK1.7以上。

/etc/profile中加上export JAVA_HOME=xxx

可以下载hadoop了，执行

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gz
tar xvf hadoop-2.7.0.tar.gz

这里需要注意也许经常解压缩失败，检查是否下载完整。

也有可能有些国内镜像编码问题？我从windows下载传上去基本就没问题。或许设置wget 远程 本地编码也能解决问题。

如果是root安装，需要执行

useradd hadoop
--文件移入/home/hadoop下后
chown -R hadoop:hadoop /home/hadoop/  

以后用hadoop用户操作hadoop应该是比较好，或者流行的方式。

现在其实单机模式已经搭建OK了。你需要做的就是测试。

mkdir ~/input
cp ~/hadoop-2.7.0/etc/hadoop/*.xml ~/input/
~/hadoop-2.7.0/bin/hadoop jar ~/hadoop-2.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar grep ~/input/ ~/output/  'dfs[a-z.]+'
cat ~/output/

如果你做产生了错误，也许你擅自创建了一个output文件夹。也就是说output已经存在了。