hadoop第一天

1：从网络上获得大量关键词，数据，使用Mapreduce进行筛选，分析

2：将这些原始数据全部存储在hdfs中，

3：用Mapeduce对这些原始数据进行处理，放到hbase数据库中，

Hadoop：

1，Mapreduce :分布式处理，每个数据集，进行逻辑业务处理（map阶段），合并统计数据结果（reduce），离线并行计算框架

2，Hdfs,存储海量数据，安全性（副本数）

3，yarn,分布式资源管理框架，管理整个集群的资源（内存，cpu核数），分配调度集群的资源。container,资源存储容器

4，common,公共基础资源，为其他模块提供基础设施，

历史服务器historyserver

查看已经运行完成的MapReduce作业记录，比如用了多少个Map,用了多少个Reduce，作业提交时间，作业启动时间，作业完成时间等信息。

**启动命令：sbin/mr-jobhistory-daemon.sh start historyserver.

**Web Ui: http://hostname:19888/

Yarn的日志聚集功能配置使用，Log Aggregation

聚集：应用程序完成之后，将日志信息上传到HDFS系统