笔记：Hadoop权威指南 第7章 MapReduce 的类型与格式

最新推荐文章于 2021-07-28 22:18:08 发布
最新推荐文章于 2021-07-28 22:18:08 发布
阅读量475 收藏
点赞数
分类专栏： 大数据-云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lihui6636/article/details/42557387
版权

一、输入输出类型

map 输出的key、value类型与reduce 输入的key、value 一致。


二、默认的MapReduce作业

默认Map：IdentityMapper

默认Reduce：IdentityReducer

默认Partitioner：HashPartitioner


三、输入/输出格式

FileInputFormat：可添加一个或多个输入路径

CombineFileInputFormat：可以将多个小文件打包到一个分片

不切分：覆盖isSplitable 方法


文本：TextInputFormat   / TextOutputFormat

KeyValueTextInputFormat

NLineInputFormat

SequenceFileInputFormat

SequenceFileAsTextInputFormat

SequenceFileAsBinaryInputFormat   /SequenceFileAsBinaryOutputFormat 

MultipleInputs   / MultipleOutputs

DBInputFormat









荒岛码农
关注
专栏目录
笔记：Hadoop权威指南 第2章 关于MapReduce
荒岛码农
01-08 440
一、并行计算遇到的问题 1、难以将任务分成相同大小的作业块 2、将独立进程运行的结果合并后，可能还需要进一步的处理 3、依旧受限于一台计算机的处理能力 二、MapReduce Job 的一些特点 1、MapReduce  job 的定义：客户端要执行的一个工作单元，包括输入数据、MapReduce程序、配置信息。Hadoop 将Job 分成若干个小任务(task) 来执行。其中包
Hadoop权威指南笔记3——第三章：Hadoop分布式文件系统
qq_35556504的博客
08-06 416
第3章： Hadoop分布式文件系统 ​ 如果文件太大，那么一台机器肯定存不下，所以需要进行分块存储到不同的机器上。这就需要用到网络通信，同时保证文件不丢失。 ​ Hadoop的HDFS则实现了分布式存储的共嗯那个。 ​ 本章具体介绍HDFS，以及其他的存储系统（本地文件系统、Amazon S3系统） 3.1 HDFS的设计 ​ HDFS以流数据访问模式来存储超大文件，运行于商业硬件集群上 ​ 下面具体解释上述句子中的各个词语的含义 （1）超大文件： MB，GB，TB甚至PB级别的文件。Hadoop都可以存
Hadoop权威指南笔记2——第2章：关于MapReduce
qq_35556504的博客
07-28 531
第2章 关于MapReduce ​ MapReduce是一个并行的数据处理模型，作者将使用Java、Ruby和Python实现。 2.1 气象数据集 ​ 作者收集了气象的数据集，用于进行MapReduce分析。 数据格式 0057 332130 # USAF weather station identifier 99999 #WBAN weather station identifier 19500101 # observation date 8300 #observation time 4 +51317
《Hadoop权威指南》读书笔记-第一章：初识Hadoop
qq_30317875的博客
11-22 283
1.1 数据 随着社会日益发展，数据的体量变得越来越大。以前一个家庭一声拍摄的照片也不足10GB，现在随着数码产品的发展，拍照变得越来越容易，画质也越来越清晰，每个人几乎每年拍的照片就可以轻轻松松到10GB，而且随着科技的发展，各种行为都可以被数码产品以数据的形式记录下来，比如微信步数。行车轨迹、网页访问记录等，科技的发展让一切都可以成为信息记录下来，所以信息的体量变得越来越大。 大数据时代来临，...
Hadoop权威指南笔记1——第1章：初始Hadoop
qq_35556504的博客
07-28 234
第1章：初识Hadoop 1.1 数据！数据！ ​ 我们生活在一个大数据的时代。各处都是数据 1.2 数据的存储与分析 ​ 硬盘容量在扩大，但是读写数据没有改变。就会导致读取大数据，数据变慢 ​ 那么就需要并行读取，但是会存在两个问题。 ​ 第一个问题： 硬件故障问题，故障容易照成数据丢失，所以需要进行备份。例如RAID、Hadoop的HDFS ​ 第二个问题：不同磁盘的数据需要相互结合来完成计算，这里就需要用到Hadoop的MapReduce ​ 所以，Hadoop解决了上面两个问题 1.3 查询所有数据
Hadoop权威指南_读书笔记_第7章 MapReduce的工作机制[面试重点]
lightupworld的博客
06-30 146
第7章 MapReduce的工作机制[面试重点]一、 MapReduce作业运行机制二、 Shuffle 和排序1. Map端2. reduce端 一、 MapReduce作业运行机制 参考之前的文章: MapReduce的作业运行机制 二、 Shuffle 和排序 MapReduce 确保每个 reducer 的输入都是按键排序的。 系统执行排序，将map输出 作为输入 传给reducer的过程称为 shuffle。 1. Map端 map函数开始产生输出时，并不是简单的将数据写到磁盘，而是
【hadoop权威指南第四版】第七章MR的类型与格式【笔记+代码】
qq_43149373的博客
12-10 590
7.1MR类型 7.2 输入格式 7.2.1输入分片与记录 InputFormat类的层次结构 每一个map操作只处理一个输入分片，并且一个一个地处理每条记录，也就是一个键值对。 在数据库中，一个输入分片可以是一个表的若干行，而一条记录就是这若干行中的一行。 public abstract class InputSplit { public abstract long getLength() throws IOException, InterruptedException; p
读书笔记《Hadoop权威指南第4版(Hadoop The Definitive Guide 4th)》
砥砺前行的博客
09-29 773
RAID brute-force approach Comparison with Other Systems MapReduce is a batch query processor, and the ability to run an ad hoc query（特定查询） against your whole dataset and get the results in a reasonabl...
Hadoop权威指南读书笔记
xia_yu_mao_fa的专栏
05-06 3215
mapreduce数据本地化（核心特征）、无共享。    1  HDFS的设计 为了存储超大文件 流式访问（一次写入多次读取）商用硬件（不需要超豪华的机器）    2  数据快（block） 磁盘一般是512字节 HDFS默认是64M 但与其他文件系统不同的是小于一个块大小的文件不会占用整个块的空间。块为什么设置这么大？（最小化寻址开销）块抽象带来的好处（一个文件的
Hadoop权威指南（第三版）英文版.pdf
11-07
《Hadoop权威指南》是大数据领域的一本经典著作，尤其其第三版更是备受专业人士推崇。这本书详尽地阐述了Hadoop生态系统的核心技术和实践应用，旨在帮助读者深入理解并有效运用Hadoop解决大规模数据处理问题。以下是...
Hadoop 权威指南学习笔记（五）
youhuakongzhi的博客
01-10 300
MapReduce 的工作机制 5.1剖析 MapReduce 作业运行机制 客户端:提交 MapReduce 作业。 jobtracker: 协调作业的运行。 jobtracker 是一个 Java 应用程序，tasktracker: 运行作业划分后的任务。 tasktracker Java 应用程序，分布式文件系统(一般为 HDFS)，用来在其他实体间共享作业 文件。 maperd.job.tracker: 如果被设置为local,则在本地测...
Hadoop权威指南读书笔记(5) - MapReducer工作过程
labud的专栏
09-22 1204
本文对应原书中第七章。其中的知识对于进一步调优MapReduce非常重要。我们先介绍MapReduce作业的运行过程，再介绍它的容错机制，然后会介绍其中的Shffle和Sort过程。
hbase权威指南学习笔记
lvhuiyin的博客
08-05 3293
一、简介 1.列式存储数据库 以列为单位聚合数据，然后将列值顺序的存入磁盘，而传统数据库时为行式数据库，连续地存储整行 列式数据库：对于特定的查询，不需要所有的值，在分析型数据库最常见 1）关系型数据库存在的问题 高并发的解决步骤 增加用于读取的从服务器，将读写分离 增加缓存，如Memcached，但无法保证数据的一致性 将数据分区到多个数据库中，运维成本高。分区主要描述了逻辑上水
2021-01-29 大数据课程笔记 day9
qq_44745905的博客
01-29 714
@R星校长 hadoop 第一天 Hadoop一共六天课程： 分布式存储 两天 MapReduce计算 两天 案例 两天 第一天内容安排 1T文件操作（训练） hadoop起源（了解） HDFS架构（重点） 数据块副本放置策略（重点） HDFS的权限（了解） hadoop的安全模式（理解） HDFS写文件流程（重点） HDFS读文件流程（重点） 伪分布式搭建（熟练） 热身1T文件操作的思考： 分治思想 单机处理大数据的问题 集群分布式处理大数据的辩证 分治思想引入案例 十万个元素（数字或单词.
华为OD模型资源22份
10-17
华为OD模型资源22份，资源列表： 组织发展与变革19页.pptx 华为BLM模型67页.ppt 华为组织变革认知和启示14页.docx 企业管理创新与组织变革110页.ppt 企业文化建设模型13页.ppt BLM模型90页.ppt 组织变革与管理38页.pptx 公司组织机构图10页.docx 如何设计出有效的组织架构29页.pptx 组织设计与发展10页.pptx 【模板】企业组织架构图PPT模板(漂亮实用)22P.ppt 公司组织机构调整方案9页.doc 丹尼森组织文化模型.xlsx 杜邦公司组织变革案例分析26页.ppt 组织文化评估工具(奎因模型)28页.pptx 公司与组织架构设计53页.ppt 【模板】企业组织架构图PPT模板15页.pptx 华为变革及流程管理框架33页.pptx 组织发展(OD)4页.pptx 组织发展评估模型48页.ppt 绩效管理(组织绩效管理)46页.ppt 组织变革的案例14页.ppt
13.jpg
10-17
13
UE4高清虚幻引擎教程全集
10-17
1、Unreal Engine 4 零基础美术流程完全教学 2、Unreal Engine 4 独立游戏制作编程教学 3、Unreal Engine 4 可视化虚拟现实全流程实战教学 4、Unreal Engine 4 高级材质系统实战教学 5、Unreal Engine 4 虚幻引擎蓝图可视化编程教学 6、Unreal Engine 4 虚幻引擎蓝图可视化编程教学进阶篇 7、Unreal Engine 4 虚幻4引擎RPG游戏与特效实战开发教程 第一部 8、Unreal Engine 4 虚幻4引擎RPG游戏与特效实战开发教程 第二部 9、Unreal Engine 4 虚幻引擎VR交互虚拟漫游完全流程教学 HTCViveTemplate-UE4-master.zip UE4.12 substance套装.zip 共114G 网站上传资料大小有限制，仅包含代码
毕业设计论文SpringBoot商务安全邮箱邮件收发系统.docx
10-17
毕业设计论文
人体姿态估计-在EdgeTPU上部署人体姿态估计算法-优质项目实战.zip
最新发布
10-17
人体姿态估计_在EdgeTPU上部署人体姿态估计算法_优质项目实战
Hadoop权威指南：初识与MapReduce探索
"这是《Hadoop权威指南》前三章的中文版，主要涵盖了Hadoop的基本概念、MapReduce原理以及Hadoop分布式文件系统（HDFS）的介绍。" 在深入Hadoop的世界之前，首先需要理解大数据的重要性。【初识Hadoop】章节强调了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值