1、新建用户和组
addgroup hadoop
adduser --ingroup hadoop hadoop
注销root以hadoop用户登录
2、配置SSH
ssh-keygen -t rsa(密码为空,路径默认)
cp .ssh/id_rsa.pub .ssh/authorized_keys
3、准备HADOOP运行环境
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz
tar -xzvf hadoop-1.1.2.tar.gz
在/home/hadoop/.bashrc 中追加:
export PATH=/home/hadoop/hadoop-1.1.2/bin:$PATH
重新登录就生效
ssh localhost
which hadoop
4、配置HADOOP运行参数
vi conf/core-site.xml
- <span style="font-size: 18px;"><property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9000</value>
- </property>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/home/hadoop/tmp</value>
- </property>
- </span>
vi conf/hdfs-site.xml
- <span style="font-size: 18px;"><property>
- <name>dfs.name.dir</name>
- <value>/home/hadoop/dfs/filesystem/name</value>
- </property>
- <property>
- <name>dfs.data.dir</name>
- <value>/home/hadoop/dfs/filesystem/data</value>
- </property>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- </span>
vi conf/mapred-site.xml
- <span style="font-size: 18px;"><property>
- <name>mapred.job.tracker</name>
- <value>localhost:9001</value>
- </property>
- <property>
- <name>mapred.tasktracker.map.tasks.maximum</name>
- <value>4</value>
- </property>
- <property>
- <name>mapred.tasktracker.reduce.tasks.maximum</name>
- <value>4</value>
- </property>
- <property>
- <name>mapred.system.dir</name>
- <value>/home/hadoop/mapreduce/system</value>
- </property>
- <property>
- <name>mapred.local.dir</name>
- <value>/home/hadoop/mapreduce/local</value>
- </property>
- </span>
5、格式化名称节点并启动集群
hadoop namenode -format
6、启动集群并查看WEB管理界面
start-all.sh
访问http://localhost:50030可以查看 JobTracker 的运行状态
访问http://localhost:50060可以查看 TaskTracker 的运行状态
访问http://localhost:50070可以查看 NameNode 以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及 log 等
7、停止集群
stop-all.sh停止集群