![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
mapreduce
scaling_heights
scaling_heights
展开
-
mapreduce 日志分析
1. 需求 用户上报日志到多台日志收集服务器,日志落在不同的服务器上,flume扫描日志存储到hdfs,现在要根据日期按照域名、hour汇总数据压缩提供下载查看功能。形如: https://www.cnblogs.com/mstk/p/6980212.html flume入hdfs (尚未尝试过,看起来很牛逼) 2.调研: 1> flink实时分析日志流存储hdfs,o...原创 2018-11-04 21:17:18 · 2998 阅读 · 0 评论 -
MapReduce单元测试(MRunit)
问题 借鉴 https://blog.csdn.net/sunshine920103/article/details/61615948 https://www.cnblogs.com/xdlaoliu/p/7235675.html package com.**.pcdnas.mr.job; import com.alibaba.fastjson.J...原创 2019-01-31 22:52:48 · 373 阅读 · 0 评论