Hadoop学习三:hadoop的一些基本配置以及相关概念

Hadoop学习三:hadoop的一些基本配置以及相关概念

标签（空格分隔）： hadoop

---

一，一些基本的配置

1，配置secondarynamenode。修改hdfs-site.xml文件，添加如下配置：

<property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>hadoop001.com.cn:50090</value>
</property>

2，配置历史服务器以及日志聚合

//修改mapred-site.xml文件  历史服务器配置
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop001.com.cn:19888</value>
</property>

//配置日志聚合
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

killall java    //杀死所有的java线程

3，配置无秘钥登陆

ssh-keygen -t rsa   //生成秘钥
cd 
cd .ssh/
ssh-copy-id hadoop001.com.cn   //将秘钥拷贝到其他服务器上

二，hadoop的2种日志格式

.log：启动，运行过程，相对比较全面
.out：标准输出日志

三，HDFS

• namenode:集群的中心节点,存放元数据信息,接受datanode的心跳包(3秒报告一次)和块报告(默认间隔时间为1小时)

• datanode:负责文件内容的读写操作,跟文件相关的数据流不经过namenode,以block作为单位(128M)
  支持在线加入或者下线node

• 文件:
  文件切成块(默认大小128M),每个块有多个副本存储在不同的机器上
  可以创建,删除,移动或重命名文件,当文件创建,写入和关闭之后不能修改文件内容.

• namenode启动过程
  

namenode格式化：创建fsimage文件（默认位置hadoop.tmp.dir/dfs/name），存储fsimage信息，创建edits文件

启动过程：
1，第一次启动：将fsimage读取到内存中，创建一个空的edits文件
2，第二次启动：将新的fsimage读取到内存中，并读取edits到内存和fsimage合并。并等待datanode注册与发送block report

• namenode安全模式 safemode

bin/hdfs dfsadmin -safemode get   //查看当前的安全模式
bin/hdfs dfsadmin -safemode enter  //进入安全模式
bin/hdfs dfsadmin -safemode leave  //关闭安全模式

四，YARN框架

1，客户端向resource manage发起请求（资源）
2，resource manage会为job任务分配一个application master(在某个节点上)
3，application master在向resource manager申请资源。resource manager响应资源申请返回container
4，application master接受资源和nodemanager通信并发送相应的container
5，对应的node manager执行完任务后，会向application master报告
6，application master向resource manager报告任务完成。

*container:资源的抽象，如内存，cpu,磁盘，网络等等
*内存资源的多少会决定任务的生死，如果内存不够，任务可能会运行失败；相比之下，CPU资源只会决定任务运行的快慢，不会对生死产生影响。