Hadoop2.x 一些知识，MapReduce历史服务配置启动查看，YARN的日志聚集功能配置使用

四个模块
1. common
2. hdfs
存储数据
NameNode(存储文件系统的元数据，命名空间namespace)
DataNode(存储数据)
SecondaryNameNode(辅助NameNode工作，合并两个文件（定时周期性）)
3. YARN
Hadoop 操作系统
Data操作系统
Container
ResourceManager(整个集群资源的管理和调度)
NodeManager(管理每个节点的资源与调度)
4. MapReduce(分而治之)
map(分)
reduce（合并）
input –> map –> shuffle –> reduce –> output
分布式并行的计算框架

运行模式
* 本地模式
* yarn模式

=====================问题========================

格式化
* core-site.xml
* 主机名与ip地址的映射
NameNode启动出错
*日志信息 more 翻页查看 tail 文件的末尾

MapReduce历史服务配置启动查看
开启历史日志
sbin/mr-jobhistory-daemon.sh start historyserver

YARN的日志聚集功能配置使用
Aggregation
聚集
应用运行完以后，将日志上传到HDFS系统上
yarn-site.xml

 <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>640800</value> //设置保存的时间
    </property>

这需要重启resourcemanager nodemanager historyserver
sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager
sbin/mr-jobhistory-daemon.sh stop historyserver
关闭后
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver

事务需要重新执行
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /user/beifeng/mapreduce/wordcount/input /user/beifeng/mapreduce/wordcount/output2