hadoop安装
hadoop的安装分为三种,单机版,伪分布式,集群安装。这里我记下了在三种情况下的区别和共同点。
首先是无论是哪种情况,hadoop必须在所有电脑上安装,包括master和slave节点,并且最好保证hadoop的版本在不同的机器上一致。为了能够运行hadoop,必须要安装java环境,并且要安装ssh,ssh为了在不同机器上提供某种功能,暂时还不知道。然后就是配置hadoop。
1. 安装java环境并安装ssh并且配置免密码登陆。
sudo apt-get install ssh
sudo apt-get install rsync
配置免密码登陆:
cd ~
mkdir .ssh
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
2. 下载hadoop的binary包,并且解压然后配置hadoop。
tar -zxvf hadoop-binary.jar
在hadoop的binary目录里面配置etc/hadoop/hadoop-env.sh,在其中设置export JAVA_HOME=完整的jdk目录。
3. 为了运行hadoop的简单,可以在环境变量里面添加hadoop的bin:
export PATH=$HADOOP_HOME/bin:$PATH
通过以上步骤后,hadoop的安装算是完成了,但是为了能够以三种方式之一执行某个程序,我们需要不同的配置。这个以后再说。