【Hadoop】7、Hadoop1.2.1基于虚拟机中的CentOS6.6的Hadoop单节点安装

基于虚拟机中的CentOS6.6的Hadoop单节点安装

1、我们需要的软件

1. JavaTM 1.6.x, preferably from Sun, must be installed.
2. ssh must be installed and sshd must be running to use the Hadoop scripts that manage remote Hadoop daemons.
   Jdk，第二个是ssh远程登录的东西

2、安装以上软件

3、下载Hadoop

http://hadoop.apache.org/releases.html

我们选择1.2.1版本的

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/

4、开始伪分布式安装

我们需要修改的配置文件

5、ssh免密码登录

这个是本地登录
$ssh localhost 如果无法登录，执行下面命令$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

6、启动系统

格式化文件系统
$bin/hadoop namenode -format 启动，我们不用这个$ bin/start-all.sh
我们使用
$hdfs-start.sh启动

The hadoop daemon log output is written to the ${HADOOP_LOG_DIR} directory (defaults to${HADOOP_HOME}/logs).
Browse the web interface for the NameNode and the JobTracker; by default they are available at:
• NameNode - http://localhost:50070/
• JobTracker - http://localhost:50030/
上传文件：
$bin/hadoop fs -put conf input 执行程序:$ bin/hadoop jar hadoop-examples-*.jar grep input output ‘dfs[a-z.]+’
Examine the output files:
下载文件:
$bin/hadoop fs -get output output$ cat output/*
or
查看文件:
$bin/hadoop fs -cat output/* When you’re done, stop the daemons with:$ bin/stop-all.sh