1:从网络上获得大量关键词,数据,使用Mapreduce进行筛选,分析
2:将这些原始数据全部存储在hdfs中,
3:用Mapeduce对这些原始数据进行处理,放到hbase数据库中,
Hadoop:
1,Mapreduce :分布式处理,每个数据集,进行逻辑业务处理(map阶段),合并统计数据结果(reduce),离线并行计算框架
2,Hdfs,存储海量数据,安全性(副本数)
3,yarn,分布式资源管理框架,管理整个集群的资源(内存,cpu核数),分配调度集群的资源。container,资源存储容器
4,common,公共基础资源,为其他模块提供基础设施,
历史服务器historyserver
查看已经运行完成的MapReduce作业记录,比如用了多少个Map,用了多少个Reduce,作业提交时间,作业启动时间,作业完成时间等信息。
**启动命令:sbin/mr-jobhistory-daemon.sh start historyserver.
**Web Ui: http://hostname:19888/
Yarn的日志聚集功能配置使用,Log Aggregation
聚集:应用程序完成之后,将日志信息上传到HDFS系统