mapreduce
IT小鸟鸟
抽空整理一下自己学习心得,倒空自己。学点儿新东西,就码出来
展开
-
mapreduce 自定义分区的实现
题目:有如下流量数据,要求 按照手机号 归属地进行分区。 其中: 134—136 归属地属于上海 137—138 归属地属于北京 139—159 归属地属于深圳 其它归属地未知 手机号 上行流量 下行流量 总流量 13480253104 2494800 2494800 4989600 13502468823 101663100 1529437140 1631100240 ...原创 2019-12-16 16:09:23 · 495 阅读 · 0 评论 -
java.io.IOException: (null) entry in command string: null ls -F *... 解决办法
我的运行环境是eclipse: mapreduce在windows上运行时,指定输入路径的时候,如果路径下有很多文件,往往无法一次性识别。会遇到:java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: (null) entry in command ...原创 2019-12-14 18:52:22 · 4099 阅读 · 6 评论 -
mapreduce wordcount的java实现
整个实现过程可以用3个方法来实现: mapper、reducer、driver mapper方法如下: package com.aura.cn.mapreduce; import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import...原创 2019-12-09 19:58:29 · 363 阅读 · 0 评论