微光点亮星辰

本文关键字：Hadoop、MapReduce、jar。MapReduce是一个计算模型和框架，Hadoop将其实现并整合，因此我们可以脱离Hadoop软件环境直接在项目中编码测试。在实际的生产环境中，每个计算任务都是以jar包的形式存在，周期性的以不同的参数提交执行，这是离线计算任务的常见模式。当然，在测试阶段，可能也会使用yarn方式远程提交集群来执行任务，这可以更加真实的模拟任务的运行情况，同时也方便调试。

本文关键字：Flume、Kafka、HDFS、实时数据、存储。对于一些实时产生的数据，除了做实时计算以外，一般还需要归档保存，用于离线数据分析。使用Flume的配置可以实现对数据的处理，并按一定的时间频率存储，本例中将从Kafka中按天存储数据到HDFS的不同文件夹。