一、创建hadoop用户
# 创建新用户hadoop 并使用 /bin/bash 作为shell
useradd -m hadoop -s /bin/bash
# 修改密码
passwd hadoop
二、增加管理员权限
visudo
root ALL=(ALL) ALL
下增加一行 hadoop ALL=(ALL) ALL
三、安装并配置SSH无密码登陆
# 默认已安装
rpm -qa | grep ssh
# 测试
ssh localhost
配置成SSH无密码登陆
# 若没有该目录,请先执行一次ssh localhost
cd ~/.ssh/
# 会有提示,都按回车就可以
ssh-keygen -t rsa
# 加入授权
cat id_rsa.pub >> authorized_keys
# 修改文件权限
chmod 600 ./authorized_keys
四、安装hadoop
通过 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载,
本教程选择的是 2.7.2 版本,下载时请下载 hadoop-2.x.y.tar.gz 这个格式的文件,这是编译好的,另一个包含 src 的则是 Hadoop 源代码,需要进行编译才可使用。建议同时下载hadoop-2.x.y.tar.gz.mds检测hadoop完整性。
# 列出md5检验值
head -n 6 hadoop-2.7.2.tar.gz.mds
# 计算md5值,并转化为大写,方便比较
md5sum hadoop-2.7.2.tar.gz | tr "a-z" "A-Z"
# 解压到/usr/local中
sudo tar -zxf hadoop-2.7.2.tar.gz -C /usr/local
cd /usr/local/
sudo mv hadoop-2.7.2/ hadoop
sudo chown -R hadoop:hadoop ./hadoop
测试
cd /usr/local/hadoop
mkdir ./input
# 将配置文件作为输入文件
cp ./etc/hadoop/*.xml ./input
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
# 查看运行结果
cat ./output/*