前言:开始学习Hadoop喽 []~( ̄▽ ̄)~*
预备工作:
专创个用户为hadoop(当然也可以不用)
sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo
安装Java环境:
Java环境可选择 Oracle 的 JDK,或是 OpenJDK
#安装JDK1.7
sudo apt-get install openjdk-7-jdk
#修改文件
sudo gedit /etc/profile
#配置环境变量
export JAVA_HOME=/usr/lib/jvm/java-1-7-openjdk-amd64 (java安装目录)
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
# 配置完文件后,使其生效
source /etc/profile
#检验是否配置完成
echo $JAVA_HOME # 检验变量值
java -version
$JAVA_HOME/bin/java -version # 与直接执行 java -version 一样
安装Hadoop:
# Hadoop 安装至 /usr/local/ 中:
sudo tar -zxf ~/Downloads/hadoop-2.7.3.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local/
sudo chown -R hadoop ./hadoop-2.7.3/ # 修改文件权限
#测试安装是否成功
./bin/hadoop version
小例子 测试:
运行Hadoop文档中附带的例子——WordCount,来检测下Hadoop是否安装成功
cd /usr/local/hadoop
#新建input文件夹,用来存放输入数据
mkdir ./input
# 将配置文件作为输入文件
cp ./etc/hadoop/*.xml ./input
#运行
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
# 查看运行结果
cat ./output/*
查看结果 0.0
再次运行, 报错
Hadoop 默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将 ./output 删除。
rm -r ./output