hadoop 详细配置

根据官网http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html 去做hadoop相应的配置

 

 (1)Prepare to Start the Hadoop Cluster

    hadoop.env.sh

 export JAVA_HOME=/home/hadoop/java/jdk1.8.0_161

 (2) Pseudo-Distributed Operation

   core-site.xml

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hlx:8020</value>
    </property>
	 <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/java/hadoop-2.7.6/data/tmp</value>
    </property>

说明：  将localhost:修改成hlx(或是IP或是localhost)都可以！
          将端口号9000修改成8020；原因是hadoop1.X版本是9000,hadoop2.X版本是8020;也可以不修改哦！
  

    查找默认的配置文件core-default.xml 

    http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html

   

 hadoop.tmp.dir=/tmp/hadoop-${user.name} 默认是缓存目录，会过段时间就会删除的！    

  

 那么就必须修改这个目录哦！（data/tmp 必须要创建这两个目录哦！）

hadoop.tmp.dir=/home/hadoop/java/hadoop-2.7.6/data/tmp 

  hdfs-site.xml

<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

  主要是设置备份数，默认的3份，伪分布式，只要1份就可以了！

Setup passphraseless ssh （已配置,忽略）

Excution 

   1)格式化文件系统 

$ bin/hdfs namenode -format

 

  2）启动文件系统

$ sbin/start-dfs.sh

  有两个进程：

          NameNode：存储元数据
          DataNode： 存储数据

 jps==>查看进程

  也可以通过日志来查看：  

     /home/hadoop/java/hadoop-2.7.6/logs/ 

  

  log=>日志； out=>标准输出；

 3）hdfs监控界面（Linux）
    NameNode - http://localhost:50070/

  

  查看集群clusterID= /home/hadoop/java/hadoop-2.7.6/data/tmp/dfs/data/current/VERSION

    

Yarn on a Single Node

4）yarn资源调度 mapred-site.xml

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

修改这个mapred-site.xml的文件名哦！

5)  yarn-site.xml

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

  有两个进程:
      ResourceManage:管理总资源分配
      NodeManager ：管理该台节点资源

  启动yarn 

 $ sbin/start-yarn.sh

  6)yarn监控界面:
     ResourceManager - http://localhost:8088/   

    

停止所有的进程

$ sbin/stop-dfs.sh

$ sbin/stop-yarn.sh