![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
mapreduce
Bright Huang
这个作者很懒,什么都没留下…
展开
-
java操作Mapreduce实现reducejoin(CustomerOrder业务)
CustomerOrders类 package reduceJointest; import org.apache.hadoop.io.Writable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; /** * @Author Bright * @Date 2020/12/3 * @Description */ public class CustomerOrders imple原创 2020-12-03 20:14:54 · 114 阅读 · 0 评论 -
java操作Mapreduce实现手机号上行 下行流量统计(有自定义分区规则方法)
java操作Mapreduce实现手机号上行 下行流量统计FlowBean类FlowMapper类FlowReducer类FlowDriver自定义分区规则使用自定义分区FlowDriverMaven依赖 数据文件下载链接: https://pan.baidu.com/s/1lHd-Egpas2HR6U0TcsC6EQ 提取码: fffj FlowBean类 package flow; import org.apache.hadoop.io.Writable; import java.io.DataIn原创 2020-12-04 16:12:29 · 307 阅读 · 0 评论 -
MapReduce原理及编程(实现wordcount)
MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”,适用于大量复杂的任务处理场景(大规模数据处理场景)。 Map负责“分”,即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算,彼此间几乎没有依赖关系。 Reduce负责“合”,即对map阶段的结果进行全局汇总。 MapReduce运行在yarn集群 ResourceManager NodeManager 这两个阶段合起来正是MapReduce思想的体现。原创 2020-09-15 19:59:26 · 381 阅读 · 0 评论 -
hadoop学习--MapReduce 排序和序列化
序列化 (Serialization) 是指把结构化对象转化为字节流 反序列化 (Deserialization) 是序列化的逆过程. 把字节流转为结构化对象. 当要在进程间传递对象或持久化对象的时候, 就需要序列化对象成字节流, 反之当要将接收到或从磁盘读取的字节流转换为对象, 就要进行反序列化 Java 的序列化 (Serializable) 是一个重量级序列化框架, 一个对象被序列化后, 会附带很多额外的信息 (各种校验信息, header, 继承体系等), 不便于在网络中高效传输. 所以, Hado原创 2020-09-15 19:30:37 · 254 阅读 · 0 评论