Hadoop
富读机
这个作者很懒,什么都没留下…
展开
-
MapReduce工作流程
MapReduce框架使用InputFormat模块做Map前的预处理,比如验证输入的格式是否符合输入定义;然后将输入文件切分成逻辑上的多个InputSplit,InputSplit是MapReduce对文件进行处理和运算的输入单位,只是一个逻辑概念,每个InputSplit并没有对文件进行实际切割,只是记录了要处理的数据的位置和长度。 因为InputSplit是逻辑切分而非物理切分,所以还需要...原创 2019-11-21 09:20:45 · 195 阅读 · 0 评论 -
MapReduce实践之气温问题
输入文件:temp: 1949-10-01 14:21:02 34c 1949-10-01 19:21:02 38c 1949-10-02 14:01:02 36c 1950-01-01 11:21:02 32c 1950-10-01 12:21:02 37c 1951-12-01 12:21:02 23c 1950-10-02 12:21:02 41c 1950-10-03 12:21:02 2...原创 2019-11-19 19:44:20 · 275 阅读 · 0 评论