Hadoop起步-0-Linux下配置hadoop步骤

Linux下配置hadoop步骤


1. 配置JDK    
   
    vim /etc/profile 

        export JAVA_HOME=/usr/java/jdk1.8.0_111
        export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
        export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

2.下载hadoop

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz


3. 开始配置 ( mapred-site.xml.template 、hadoop-env.sh 、core-site.xml 、 hdfs-site.xml )


  1.vim hadoop-2.7.3/etc/hadoop/hadoop-env.sh  
   
  设置： export JAVA_HOME=/usr/java/jdk1.8.0_111

  2. vim hadoop-2.7.3/etc/hadoop/core-site.xml 

   <configuration>
        <property>
               <name>hadoop.tmp.dir</name>
               <value>/hadoop</value>
        </property>
 
        <property>
               <name>dfs.name.dir</name>
               <value>/hadoop/name</value>
        </property>

        <property>
               <name>fs.default.name</name>
               <value>hdfs://MiWiFi-R1CM-srv:9001</value>            //MiWiFi-R1CM-srv：主机名，可用hostnameming命令查看
        </property>
 </configuration>

3. vim hadoop-2.7.3/etc/hadoop/hdfs-site.xml 

<configuration>
       <property>
               <name>dfs.data.dir</name>
               <value>/hadoop/data</value>
       </property>
</configuration>


4. vim hadoop-2.7.3/etc/hadoop/mapred-site.xml.template 

   <configuration>
       <property>
               <name>mapred.job.tracker</name>
               <value>MiWiFi-R1CM-srv:9001</value>               //MiWiFi-R1CM-srv：主机名，可用hostnameming命令查看
       </property>
   </configuration>

4. 配置hadoop到 JAVA_HOME 中
1.vim /etc/profile

2.添加 
    export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3

    export PATH=$HADOOP_HOME/bin

5. 让配置文件立即生效 ： source  /etc/profile  


6.格式化文件系统： hadoop namenode -format   //在sbin目录下格式化

 

7. 启动：sh start-all.sh   查看启动的进程：jps  

 

[root@lyons sbin]# jps
10064 Jps
9589 SecondaryNameNode
9290 NameNode
9418 DataNode
9738 ResourceManager
10028 NodeManager

 

 

 

注意：

一。JAVA_HOME 与后面的“=”不允许有空格。

二。格式化文件系统时抛错，很可能的原因：主机名字配置错误！
解决：
1. vim /etc/sysconfig/network
修改hostname
2. vim /etc/hosts
修改hostname
3.重启网络服务：
[root@localhost bin]# /etc/rc.d/init.d/network restart  


现在再格式化文件系统就好了（参考：http://blog.csdn.net/shirdrn/article/details/6562292）

 

尾言：可以参考博客 https://www.cnblogs.com/xia520pi/archive/2012/04/08/2437875.html  这个博文有点老了