组成、默认配置文件、开启和关闭守护进程、守护进程异常、格式化

hadoop的组成

• Hadoop Common:
  支持其他Hadoop模块的公共实用程序
• Hadoop Distributed File System (HDFS):
  提供对应用程序数据的高吞吐量访问的分布式文件系统
• Hadoop YARN:
  作业调度和集群资源管理框架
• Hadoop MapReduce:
  一种基于YARN的大型数据集并行处理系统

查询默认配置文件路径

1. core-site.xml
   【$HADOOP_HOME/share/hadoop/common】的hadoop-common-2.7.3.jar
2. hdfs-site.xml
   【$HADOOP_HOME/share/hadoop/hdfs】的hadoop-hdfs-2.7.3.jar
3. yarn-site.xml
   【$HADOOP_HOME/share/hadoop/yarn】的hadoop-yarn-common-2.7.3.jar
4. mapred-site.xml
   【$HADOOP_HOME/share/hadoop/mapreduce】的hadoop-mapreduce-client-core-2.7.3.jar

开启和关闭守护进程

1. 开启守护进程
   $>start-dfs.sh
   单独开启守护进程:[以当前窗口会话形式]
   $>hdfs namenode
   $>hdfs datanode
   $>hdfs secondarynamenode
   比较常用的方式：
   $>hadoop-daemon.sh start namenode
   $>hadoop-daemon.sh start datanode
   $>hadoop-daemon.sh start secondarynamenode
2. 关闭守护进程
   单独关闭守护进程:[以当前窗口会话形式]
   $>hadoop-daemon.sh stop namenode
   $>hadoop-daemon.sh stop datanode
   $>hadoop-daemon.sh stop secondarynamenode

守护进程开启过程中出现的异常(非法操作导致）

1. 重复执行<格式化>命令
   导致datanode节点或namenode节点开启异常
   解决方案：
   修改{/tmp/hadoop-用户名/dfs/data/current/VERSION}文件中的ClusterID为
   {/tmp/hadoop-用户名/dfs/name/current/VERSION}中的ClusterID值。重启即可！
   原因：由于重新格式化操作，将原有的{/tmp/hadoop-用户名/dfs/name}目录重新定义。
2. 格式化操作步骤：
   a.删除{/tmp/hadoop-用户名}目录下的所有内容
   b.执行格式化命令： hdfs namenode -format