hadoop的安装与配置

1、伪分布模式：伪分布模式是在一台机器上模拟分布式部署，方便学习和调试。

 

2、移动hadoop-1.1.2 到/usr/local 目录下，解压：命令tar -zxvf hadoop-1.1.2.tar.gz ，改名为hadoop

 

3、配置环境变量和别名(/etc/profile)(不要有空格)

alias cdha='cd /usr/local/hadoop'   export JAVA_HOME=/usr/local/jdk export HADOOP_HOME=/usr/local/hadoop   export PATH = .:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

执行 source /etc/profile

 

4、修改配置文件（$HADOOP_HOME/conf ）

1）hadoop 环境变量脚本文件 hadoop-env.sh       export JAVA_HOME=/usr/local/jdk 去掉#号 2）hadoop 核心配置文件 core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://hadoop0:9000</value> <description>change your own hostname，HDFS 的访问路径</description> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> <description>hadoop 的运行临时文件的主目录</description> </property>  </configuration> 3）hdfs 配置文件 hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> <description>存储副本数</description> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration> 4）MapReduce 配置文件 mapred-site.xml <configuration> <property> <name>mapred.job.tracker</name> <value>hadoop0:9001</value> <description>change your own hostname，JobTracker 的访问路径</description> </property> </configuration>   5）格式化文件系统，执行命令hadoop namenode -format   6）全部启动，执行start-all.sh         全部关闭，start-all.sh 分别启动 HDFS 和 MapReduce： start-dfs.sh，是单独启动 hdfs，通过 jps 能够看到 NameNode、 DataNode、 SecondaryNameNode 三个进程启动，命令适合于只执行 hdfs，存储不使用 MapReduce 做计算的场景。 start-mapred.sh，可以单独启动 MapReduce 的两个进程。关闭的命令是stop-mapred.sh 。 当然， 也可以先启动 MapReduce， 再启动 HDFS。 这说明， HDFS 和 MapReduce的进程之间是互相独立的，没有依赖关系。

注意：只在第一次启动的时候格式化，不要每次启动都格式化。理解为我们新买了块移动硬盘，使用之前总要格式化硬盘。

 

如果真的有必要再次格式化，请先把“$HADOOP_HOME/tmp”目录下的文件全部删除。

读者可以自己观察目录”$HADOOP_HOME/tmp”在格式化前后的变化情况。

格式化操作很少有出现失败的情况。如果真出现了，请检查配置是否正确。

 

验证:(1)执行jps，发现5个新的java进程，分别是NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker

     (2)通过浏览器查看，访问http://hadoop0:50070或者http://hadoop0:50030查看

   在windows上修改文件C:\Windows\System32\drivers\etc\hosts

添加：192.168.80.100 hadoop0