hadoop的伪分布安装

hadoop有3种安装模式，分别是：本地模式、伪分布模式、集群模式。

本文在这里只介绍伪分布安装模式。

温馨提示：有意向进一步学习hadoop的伙伴，欢迎加qq:1040195253交流。

1、 设置IP地址

执行命令：service network restart

验证：ifconfig

2、 关闭防火墙

命令: Service iptables stop

验证：service iptables status

3、 关闭防火墙自动运行

命令 : chkconfig iptables off

验证：chkconfig –list | grep iptables

4、 设置主机名

命令：   

(1)hostname hadoop0

(2)vi  /etc/sysconfig/network

5、ip与hostname绑定

命令:   vi  /ect/hosts

验证： ping  hadoop0

5、 设置ssh免密登陆

命令: 

(1)ssh-keygen –t rsa

(2)cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys

验证：ssh  hadoop0

6、 安装JDK

执行命令 ：

(1)cd /usr/local

(2)chmod u+x jdk-6u24-linux-i586.bin

(3)./jdk-6u24-linux-i586.bin

(4)mv jdk-1.6.0_24  jdk

(5)vi /etc/profile 增加内容如下:

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

(6)source /etc/profile

验证: java –version

7、 安装Hadoop

执行命令：

(1)tar -zxvf hadoop-1.1.2.tar.gz

(2)mv hadoop-1.1.2 hadoop

(3)vi /etc/profile 增加内容如下:

export JAVA_HOME=/usr/local/jdk

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

(4)source /etc/profile

(5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml（详见9）

(6)hadoop namenode -format

(7)start-all.sh

验证:

(1)执行命令jps 如果看到5个新的java进程，分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker。

(2)在浏览器查看，http://hadoop0:50070 、http://hadoop0:50030

8、启动时没有NameNode的可能原因:

(1)没有格式化；

(2)环境变量设置错误；

(3)ip与hostname绑定失败。

9、修改hadoop配置文件

1.hadoop-env.sh

export JAVA_HOME=/usr/local/jdk/

 

2.core-site.xml

<configuration>

    <property>

        <name>fs.default.name</name>

        <value>hdfs://hadoop0:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/local/hadoop/tmp</value>

    </property>  

</configuration>

 

3.hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

</configuration>

 

4.mapred-site.xml

<configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>hadoop0:9001</value>

    </property>

</configuration>