配置hadoop集群一

花了1天时间终于把环境搭建好了，整理了一下，希望对想学习hadoop的有所帮助。

资料下载：http://pan.baidu.com/s/1kTupgkn

包含了linux虚拟机，jdk, hadoop1.0

环境搭建准备工作：

hadoop_master 192.168.50.158

hadoop_slave    192.168.50.136

网络配置：

1：设置IP

2：重启网卡 service network restart.  验证命令 ifconfig

3：设置主机名 hostname hadoop 执行命令 vi /ect/sysconfig/network

4：把hostname和IP绑定

      执行命令 vi /etc/hosts   

192.168.50.158 master

192.168.50.136 slave

      验证：ping hadoop

5：关闭防火墙 service iptables stop

     关闭防火墙自动运行：  chkconfig iptables off

     验证： chkconfig --list |grep iptables

     

免密码登陆ssh

1：ssh-keygen -t rsa产生的密钥位于~/.ssh文件夹中

2：cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys  本机就可以免密码登录了

3：配置多机器面密码登录

    拷贝id_rsa.pub到需要登录的机器上：     scp .ssh / id_rsa.pub chenlb@ 192.168 . 1.181 : / home / chenlb / id_rsa.pub 

    把文件的内容追加到authorized_keys上   cat id_rsa.pub  >>  .ssh / authorized_keys

                                                                 chmod 600 .ssh/authorized_keys

   配置完成后ssh ip(对方的电脑)

配置环境变量

1：拷贝jdk到/user/local目录下

2：执行命令 chmod u+x jdk*.bin

3：vi /etc/profile 

      export JAVA_HOME = /user/local/jdk

      export PATH=.:$JAVA_HOME/bin:$PATH

      让配置文件生效： source /etc/profile

安装 hadoop

1：tar -zxvf hadoop.tar.gz

2：改名字 mv hadoop.1.2 hadoop

3：vi /etc/profile  

     export HADOOP_NAME=/user/local/hadoop

     path环境变量需要修改一下。添加hadoop的bin

4：修改配置文件，配置文件在hadoop的conf目录下

       hadoop-env.sh

export JAVA_HOME=/usr/local/jdk/

也可以配置垃圾回收机制：

例如，配置Namenode时,为了使其能够并行回收垃圾（parallelGC）， 要把下面的代码加入到hadoop-env.sh :

export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC ${HADOOP_NAMENODE_OPTS}"

其它可定制的常用参数还包括：

• • HADOOP_LOG_DIR - 守护进程日志文件的存放目录。如果不存在会被自动创建。
  • HADOOP_HEAPSIZE - 最大可用的堆大小，单位为MB。比如，1000MB。 这个参数用于设置hadoop守护进程的堆大小。缺省大小是1000MB。

          

      core-site.xml

<configuration>

    <property>

        <name>fs.default.name</name>

        <value>hdfs://hadoop0:9000</value>   定义HadoopMaster的URI和端口

        <description>change your own hostname</description>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/local/hadoop/tmp</value>

    </property> 

</configuration>

     hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

</configuration>

      mapred-site.xml

<configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>hadoop0:9001</value> <!--hadoop0指的是你在hosts中配置的名字-->

        <description>change your own hostname</description>

    </property>

</configuration>

配置完成后，如果是配置集群就需要在配置文件下的slaves和masters配置对应的datanode和secordaryNamenode。

5：对hadoop进行格式化  hadoop namenode -format

     格式化如果没有成功的话需要删除 /usr/local/hadoop/tmp文件夹

启动完成后，可以输入 http://master:50070/dfshealth.jsp中可以查看到节点。