初识hadoop

      从搭建完hadoop和安装好eclipse之后，我就开始了《Hadoop实战》这本书的学习。今天的笔记就是初识hadoop，主要是各种守护进程的作用，区别，还有hadoop中配置文件（这里记的是分布式的配置）的内容。

    守护进程：

      守护进程主要分为——NameNode（名字节点）、DataNode（数据节点）、SecondaryNameNode（次名字节点）、JobTracker（作业跟踪节点）、TaskTracker（任务跟踪节点）
      Hadoop采取的是主从结构，因此这些节点分布在主/从结点上。

      ①NameNode：位于主端，指导从端DataNode执行底层的I/O任务，跟踪文件如何被分，存储在哪，正题运行状态是否正常。
      运行NameNode消耗大量的内存和I/O资源，因此不会存储数据（DataNode）和执行MapReduce计算（TaskTracker）
      ※单点失效：如果NameNode节点中软件或硬件失效，无法平稳运行，也不能快速启动重启解决。

      ②DataNode：每一个从节点上都有一个DataNode守护进程，将HDFS数据块读取或写入到本地文件系统的实际文件中。
      由NameNode告诉客户端数据在哪个DataNode，客户端直接找到DataNode进行交流，处理后DataNode再与其他DataNode通信，实现冗余。

      ③SecondaryNameNode：监测HDFS集群状态的辅助守护进程（通常也占一台服务器），根据集群的配置时间间隔获得HDFS数据。
      ※如果NameNode出问题，就手动配置Secondary NameNode做NameNode。

      ④JobTracker：只有一个，在服务器集群的主节点上。
      分配执行节点的任务，如果失败就重启，之后再分配节点，再次分配的节点可能会不同，分配次数有预定义的重试次数限制。

      ⑤TaskTracker：计算的守护进程，管理各个任务在每个从节点上的执行情况。




      当JobTracker分配给TaskTracker之后，TaskTracker不停地反馈给JobTracker，如果不反馈了，就判定这个TaskTracker崩溃了，就把任务分配给其他的TaskTracker。

   hadoop的三大主要配置文件：

      core_site.xml中：

   <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
   </property> <!--NameNode的结点的URI（协议、主机名、端口号）-->

   <property>
       <name>hadoop.tmp.dir</name>
       <value>/home/hdfs/tmp</value>
   </property> <!--基础配置，如果hdfs_site.xml不配置namenode和datanode的存放位置，默认就在这个路径中-->

      hdfs_site.xml中：

   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property> <!--文件块的数据备份个数（如果是完全分布式一般为3个，这里因为写的是伪分布式，所以是1）-->

   <property>
       <name>dfs.name.dir</name>
       <value>/home/hdfs/name</value>
   </property> <!--namenode的路径，value里要写你自己的路径位置-->

   <property>
       <name>dfs.data.dir</name>
       <value>/home/hdfs/data</value>
   </property> <!--datanode的路径，value里要写你自己的路径位置-->

   <property>
       <name>dfs.permissions</name>
       <value>false</value>
   </property> <!--false→hdfs关闭，true→hdfs开启-->

mapred_site.xml中：

   <property>
       <name>mapred.job.tracker</name>
       <value>localhost:9001</value>
   </property> <!--jobtracker的主机（或IP）和端口-->

        刚开始的时候不理解这个name和value是什么意思，不知道name是怎么起的名，后来查了多个资料才发现，原来这个name不是你自己起的名字，而是固定的，你想要更改哪一个配置的值，就可以用这项配置对应的name去更改，再在value中写这个值的具体内容。具体的各个值的作用在官网有写，我在这里只写一些简单常用的。

注：笔记内容纯属于个人理解，如有错误，欢迎指出。