hadoop单机安装配置及测试通过

单机hadoop安装配置及测试通过，下面我把步骤一一写出来
一、实验环境
1.安装环境简介
物理笔记本：i5 2.27GHz (4 CPU) 4G内存 320GB硬盘 32位win7 操作系统
虚拟机： VMware Player
虚拟机安装配置URL：http://ideapad.it168.com/thread-2088751-1-1.html 不会配置的朋友请见
包括（vm tools linux与windows 共享文件 配置）
Linux ISO：SLES-11-SP2-DVD.iso 64位
Hadoop software version：hadoop-1.1.1.tar.gz
java  jdk-7u9-linux-x64.rpm
root密码：rootroot
系统版本：
Suse Linux 11 SP2
二、JAVA环境安装
1.首先你需要从oracle官网下载到java的资源包
  本例使用的是jdk-7u9-linux-x64.rpm 
2.把资源包上传到虚拟机,进入相关目录
  使用root用户执行安装命令进行安装
  rpm -ivh jdk-7u9-linux-x64.rpm
  cd命令进行/usr/java/ 执行 ln -s jdk1.7.0_09 java
  cd命令进入/etc目录vim profile即执行编辑profile文件命令
  在umask 022前添加如下内容: 环境变量
  export JAVA_HOME=/usr/java/java
  export JRE_HOME=$JAVA_HOME/jre
  export PATH=$PATH:$JAVA_HOME/bin
  export CLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
  source profile 加载环境变量使之生效
三、hadoop的安装配置
1、首先你需要从阿帕奇官网给出的链接下载到资源包：
   http://www.apache.org/dyn/closer.cgi/hadoop/common/
   
2、将下载的hadoop-1.1.1.tar.gz包上传到/home/Software
  [linux-hd1:/home/Software]$ tar -zxvf hadoop-1.1.1.tar.gz
  [linux-hd1:/home/Software]$ mv hadoop-1.1.1 /usr
  [linux-hd1:/usr]$ln -s hadoop hadoop-1.1.1
3、修改/usr/hadoop/conf/hadoop-env.sh文件
  添加export JAVA_HOME=/usr/java/java 环境变量
4、修改 /usr/hadoop/conf/目录下的配置文件
  core-site.xml 、hdfs-site.xml和mapred-site.xml
 1)编辑 core-site.xml 在<configuration> </configuration>之间增加
 <property>
 <name>fs.default.name</name>
 <value>hdfs://localhost:9000</value>
 </property>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/tmp/hadoop/hadoop-${user.name}</value>
 </property>
 2)编辑hdfs-site.xml 在<configuration> </configuration>之间增加
 <property>
 <name>dfs.replication</name>
 <value>1</value>
 </property>
 3)编辑mapred-site.xml 在<configuration> </configuration>之间增加
 <property>
 <name>mapred.job.tracker</name>
 <value>localhost:9001</value>
 </property>
 
5、免密码ssh设置 --不然每启动一次就需要输入一次密码
现在确认能否不输入口令就用ssh登录localhost:
# ssh localhost
如果不输入口令就无法用ssh登陆localhost，执行下面的命令：
# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

6.格式化分布式文件系统
[linux-hd1:/home/hadoop/bin]$ ./hadoop namenode -format
格式化名称节点：建立一系列结构，存放HDFS元数据
7.启动Hadoop 【只在h1上操作就可以】
命令：bin/start-all.sh
[linux-hd1:/usr/hadoop/bin #] ./start-all.sh
starting namenode, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-namenode-linux-hd1.out
localhost: starting datanode, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-datanode-linux-hd1.out
localhost: starting secondarynamenode, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-secondarynamenode-linux-hd1.out
starting jobtracker, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-jobtracker-linux-hd1.out
localhost: starting tasktracker, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-tasktracker-linux-hd1.out
8.检测守护进程启动情况
[linux-hd1:/usr/hadoop/bin #]jps 查看master后台java进程，统计和运行这个就可以查看了

10865 JobTracker   作业跟踪器进程 10865是进程号
10648 DataNode     数据节点进程 10648是进程号
10517 NameNode     名称节点进程 10517是进程号
11131 Jps
10778 SecondaryNameNode 辅助名称节点进程 10778是进程号
10999 TaskTracker  任务跟踪器进程 10999是进程号

如果NameNode没有成功启动的话就要先执行"bin/stop-all.sh"停掉所有东西，然后重新格式化namenode

9.Hadoop测试
（1）创建一个文本1.txt
  [linux-hd1:/usr/hadoop/bin #] vim 1.txt
（2）文本内容是I Love You Hadoop
  [linux-hd1:/usr/hadoop/bin #] cat 1.txt
   Hello Word
（3）在HDFS文件系统上创建一个目录leo
 [linux-hd1:/usr/hadoop/bin #] ./hadoop fs -mkdir /test
（4）复制文件1.txt到leo目录
  [linux-hd1:/usr/hadoop/bin #] ./hadoop fs -copyFromLocal 1.txt /test
（5）显示HDSF文件系统目录下的内容
  [linux-hd1:/usr/hadoop/bin #] ./hadoop fs -ls /test
   Found 1 items
   -rw-r--r-- 2 grid supergroup 0 2012-09-02 21:08 /leo/1.txt
（6）查看在HDFS文件系统上1.txt内容
  [linux-hd1:/usr/hadoop/bin #] ./hadoop fs -cat /leo/1.txt
  Hello Word

 测试通过