linux安装hadoop图文教程,专家推荐 Linux下安装Hadoop教程新手必备

本节和大家一起学习一下Linux下安装Hadoop教程，在学习Hadoop的过程中，你可能会遇到Hadoop安装问题，这里介绍一下Linux下安装Hadoop方法，希望通过本节的介绍大家能够掌握如何安装Hadoop。

Linux下安装Hadoop教程

目的：此安装Hadoop教程旨在引导未接触Hadoop的新手入门只用，高手请飘过。

环境：Fedora12

Kernel2.6.31.5-127.fc12.i686.PAE

Hadoop-0.20.2

jdk-6u18-linux-i586

初学者可以选择三台实体机子做实验，一台做NameNode，JobTracker，另外两台做DataNode，TaskTracker。

本安装Hadoop教程里就用的三台机子做演示。

station1192.168.128.11NameNode

station2192.168.128.22DataNode

station3192.168.128.33DataNode

1、Fedora的安装就不用演示了，装好后默认是启动sshd服务的。

不确定的话可以手工查一下

[root@station1~]#servicesshdstatus

如果没有启动，可以手工启动

[root@station1~]#servicesshdstart

2、建立ssh无密码登录

在NameNode上

[cuijj@station1~]$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa

会在~/.ssh/生成两个文件：id_dsa和id_dsa.pub。这两个是成对出现的。

把id_dsa.pub文件追加到DataNode上的authorized_keys(默认是没有这个文件的)内。

[cuijj@station1~]$scpid_dsa.pubcuijj@192.168.128.22:/home/cuijj/

登录到192.168.128.22上(另一台DataNode一样)

[cuijj@station1~]$catid_dsa.pub>>~/.ssh/authorized_keys

3、关闭防火墙

[root@station1~]#serviceiptablesstop

4、安装jdk1.6(确保几台机子的java环境一样)

到官网http://java.sun.com下载jdk-6u18-linux-i586.bin，下载后，直接安装。本安装Hadoop教程的安装路径为/home/cuijj/jdk1.6.0_18。安装后添加如下语句到/ect/profile中：

exportJAVA_HOME=/home/cuijj/jdk1.6.0_18

exportJRE_HOME=/home/cuijj/jdk1.6.0_18/jre

exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

5、安装hadoop

到官网下载hadoop-0.20.2.tar.gz

[cuijj@station1~]$tarxzvfhadoop-0.20.2.tar.gz

把Hadoop的安装路径添加到/etc/profile中

exportHADOOP_HOME=/home/cuijj/hadoop-0.20.2

exportPATH=$HADOOP_HOME/bin:$PATH

为了让/etc/profile生效，source一下

[cuijj@station1~]$source/etc/profile

6、配置hadoop

安装Hadoop教程介绍一下如何配置Hadoop。hadoop的配置文件在/conf目录下

1)配置Java环境

[cuijj@station1~]$vimhadoop-0.20.2/conf/hadoop-env.sh

exportJAVA_HOME=/home/cuijj/jdk1.6.0_18

2)配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件

[cuijj@station1~]$vimhadoop-0.20.2/conf/core-site.xml

[cuijj@station1~]$vimhadoop-0.20.2/conf/mapred-site.xml

[cuijj@station1~]$vimhadoop-0.20.2/conf/hdfs-site.xml

3)将NameNode上拷贝完整的hadoop到DataNode上

4)配置NameNode上的conf/masters和conf/slaves

masters:

192.168.128.11

slaves:

192.168.128.22

192.168.128.33

7、运行hadoop

1)格式化文件系统

[cuijj@station1hadoop-0.20.2]$hadoopnamenode-format

2)启动Hadoop

[cuijj@station1hadoop-0.20.2]$bin/start-all.sh

3)用jps命令查看进程，NameNode上的结果如下：

4)查看集群状态

[cuijj@station1hadoop-0.20.2]$hadoopdfsadmin-report

5)用hadoop的web方式查看

[cuijj@station1hadoop-0.20.2]$linkshttp://192.168.128.11:50070

8、运行wordcount.java程序

1)先在本地磁盘建立两个文件file01和file02

[cuijj@station1~]$echo"Hellocuijjbyecuijj">file01

[cuijj@station1~]$echo"HelloHadoopGoodbyeHadoop">file02

2)在hdfs中建立一个input目录

[cuijj@station1~]$hadoopdfs-mkdirinput

3)将file01和file02拷贝到hdfs的input目录下

[cuijj@station1~]$hadoopdfs-copyFromLocal/home/cuijj/file0*input

4)查看hdfs中有没有input目录

[cuijj@station1~]$hadoopdfs-ls

5)查看input目录下有没有复制成功file01和file02

6)执行wordcount(确保hdfs上没有output目录)

[cuijj@station1hadoop-0.20.2]$hadoopjarhadoop-0.20.2-examples.jarwordcountinputoutput

7)运行完成，查看结果

本安装Hadoop教程到此结束，谢谢关注。

【编辑推荐】

【责任编辑：程华权 TEL：(010)68476606】

点赞 0