![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 72
小瓶盖的猪猪侠
这个作者很懒,什么都没留下…
展开
-
MapReduce数据流
MapReduce是Hadoop的核心组件,它通过将工作划分为一组独立的任务来并行处理大量数据。在 MapReduce 中,数据是一步一步从 Mapper 流向 Reducer。本教程详细介绍了 MapReduce 作业执行的各个阶段, Input Files, InputFormat in Hadoop, InputSplits, RecordReader, Mapper, Combiner, Partitioner, Shuffling and Sorting, Reducer, RecordWrit原创 2021-06-26 13:40:27 · 1015 阅读 · 1 评论 -
Hadoop job提交源码分析
从如下地方开始,就要进行job的提交了boolean isSuccess = job.waitForCompletion(true);进入waitForCompletion,调用里面有submit进行作业的提交 public boolean waitForCompletion(boolean verbose ) throws IOException, InterruptedException,原创 2021-06-13 23:33:27 · 173 阅读 · 2 评论 -
Hadoop InputFormat
Hadoop 可以处理许多不同类型的数据格式,从纯文本文件到数据库。Hadoop InputFormat 检查作业的输入规范。InputFormat 将 Input 文件拆分为 InputSplit 并分配给单个 Mapper。InputFormat 定义了如何在 Hadoop 中拆分和读取输入文件。Hadoop InputFormat 是 Map-Reduce 的第一个组件,它负责创建输入拆分并将它们划分为记录。最初,MapReduce 任务的数据存储在输入文件中,而输入文件通常驻留在HDFS 中。尽.原创 2021-06-12 14:57:37 · 676 阅读 · 3 评论 -
Hadoop序列化
定义序列化是将结构化对象转换为字节流以通过网络传输或写入持久存储的过程。反序列化是将字节流转换回一系列结构化对象的逆过程。序列化用于分布式数据处理的两个截然不同的领域:进程间通信和持久存储。Hadoop 大量使用网络传输来执行其作业。Doug Cut(Hadoop 的创建者)在他的一篇博文中解释说,java.io.Serializable对 Hadoop 的需求来说太重了,因此开发了一个新接口:Writable。您需要从映射器发送到减速器或作为输出的每个对象都必须实现此接口,以使 Hadoop 从/原创 2021-06-11 21:16:38 · 1218 阅读 · 2 评论