![](https://img-blog.csdnimg.cn/20181226212253682.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
《Hadoop权威指南》
《Hadoop权威指南》读书笔记
说文科技
同名公众号【说文科技】,做有态度的研究。
展开
-
《Hadoop权威指南》读书笔记9 — Chapter 9
《Hadoop 权威指南》读书笔记9 — Chapter 9 Counters There are often things that you would like to know about the data you are analyzing but that are peripheral to the analysis you are performing. Counters are a u...原创 2019-01-10 18:12:08 · 349 阅读 · 0 评论 -
《Hadoop 读书笔记》之八— chapter 8
《Hadoop 读书笔记》之八— chapter 8 FileInputFormat类精解 FileInputFormat is the base class for all implementations of InputFormat that use files as their data source . FileInputFormat 是所有使用files 作为数据源的InputForma...原创 2019-01-08 21:03:37 · 380 阅读 · 0 评论 -
《Hadoop 权威指南》读书笔记之七 — chapter7
《Hadoop 权威指南》读书笔记之七 —— chapter7 The whole process of MapReduce at the highes level,there are five independent entities: the client,which submit the MapReuce job 提交MapReduce job的客户端 02.The YARN resou...原创 2019-01-03 16:26:06 · 414 阅读 · 0 评论 -
《Hadoop权威指南》读书笔记之六 — Chapter 6
《Hadoop权威指南》读书笔记之六 — Chapter 6 1.xml文件的读取 01.添加在resources文件夹中 02.使用Configuration 类的 addResource()文件 03.获取.xml 文件中的属性 04. .xml文件可以通过 variable expansion 的方式进行设置。 但是这个设置值的顺序是不是得有个先后呢? 这个定义值的顺序是没有先后关系要求的,...原创 2019-01-02 20:16:54 · 414 阅读 · 0 评论 -
《Hadoop 权威指南》读书笔记之五 — Chapter 5
《Hadoop 权威指南》读书笔记之五 — Chapter 5 1.分布式数据处理中哪些方面使用到了 Serialization(序列化)? for interprocess communication for persistne storage 2.在Hadoop 中, 节点间不同进程的通信的方式是:RPCs 3.RPC 的主要特点如下: 01.Compact 带宽是分布式系统中的瓶颈,所以...原创 2019-01-01 16:27:52 · 1129 阅读 · 3 评论 -
《Hadoop权威指南》读书笔记之四 — Chapter 4
《Hadoop权威指南》读书笔记之四——Chapter 4 1.YARN : yet another resource negotiator 2.yarn 提供访问和请求集群资源的api,但是这些apis并不能被用户直接使用。相反,用户可以使用分布式的计算框架的高级APIs。这些计算框架建立在YARN上,并且隐藏了具体实现。 3.资源请求过程 01.a client contact the res...原创 2018-12-28 18:21:12 · 471 阅读 · 0 评论 -
《Hadoop权威指南》读书笔记三 — Chapter 3
《Hadoop权威指南》读书笔记三—— Chapter 3 The Hadoop Distributed Filesystem[updating…] FileSystems that manage the storage across a network of machines are called distributed filesystems. HDFS is optimiz...原创 2018-12-28 15:09:11 · 391 阅读 · 0 评论 -
《Hadoop权威指南》读书笔记 — Chapter2
Hadoop读书笔记二 —— Chapter 2 MapReduce【updating…】 Hadoop create one map task for each split. 2.split 分割大小的问题:【想想为什么?】 01.分割的小的话,有利于负载均衡。 02.如果分割大的话,则不利于负载均衡 03.如果分割的太小的话,又会有什么问题? 3.如果发生的问题是:在计算MapReduce...原创 2018-12-27 14:06:17 · 501 阅读 · 0 评论 -
《Hadoop权威指南》读书笔记之一 — Chapter 1
《Hadoop权威指南》读书笔记 01.Hadoop 是干嘛的? 02.如何展现其reliable, scalable?原创 2018-12-26 21:35:27 · 688 阅读 · 0 评论