Hadoop 安装教程

一、创建hadoop用户

# 创建新用户hadoop 并使用 /bin/bash 作为shell
useradd -m hadoop -s /bin/bash
# 修改密码
passwd hadoop

二、增加管理员权限

visudo

root ALL=(ALL) ALL 下增加一行 hadoop ALL=(ALL) ALL

三、安装并配置SSH无密码登陆

# 默认已安装
rpm -qa | grep ssh
# 测试
ssh localhost

配置成SSH无密码登陆

# 若没有该目录，请先执行一次ssh localhost
cd ~/.ssh/ 
# 会有提示，都按回车就可以                    
ssh-keygen -t rsa    
# 加入授权          
cat id_rsa.pub >> authorized_keys  
# 修改文件权限
chmod 600 ./authorized_keys

四、安装hadoop

通过 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载，
本教程选择的是 2.7.2 版本，下载时请下载 hadoop-2.x.y.tar.gz 这个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用。建议同时下载hadoop-2.x.y.tar.gz.mds检测hadoop完整性。

# 列出md5检验值
head -n 6 hadoop-2.7.2.tar.gz.mds
# 计算md5值，并转化为大写，方便比较
md5sum hadoop-2.7.2.tar.gz | tr "a-z" "A-Z"
# 解压到/usr/local中
sudo tar -zxf hadoop-2.7.2.tar.gz -C /usr/local
cd /usr/local/
sudo mv hadoop-2.7.2/ hadoop
sudo chown -R hadoop:hadoop ./hadoop

测试

cd /usr/local/hadoop
mkdir ./input
# 将配置文件作为输入文件
cp ./etc/hadoop/*.xml ./input   
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
# 查看运行结果
cat ./output/*