《Hadoop权威指南》
《Hadoop权威指南》读书笔记
说文科技
同名公众号【说文科技】,做有态度的研究。
展开
-
《Hadoop权威指南》读书笔记9 — Chapter 9
《Hadoop 权威指南》读书笔记9 — Chapter 9CountersThere are often things that you would like to know about the data you are analyzing but that are peripheral to the analysis you are performing.Counters are a u...原创 2019-01-10 18:12:08 · 352 阅读 · 0 评论 -
《Hadoop 读书笔记》之八— chapter 8
《Hadoop 读书笔记》之八— chapter 8FileInputFormat类精解FileInputFormat is the base class for all implementations of InputFormat that use files as their data source .FileInputFormat 是所有使用files 作为数据源的InputForma...原创 2019-01-08 21:03:37 · 388 阅读 · 0 评论 -
《Hadoop 权威指南》读书笔记之七 — chapter7
《Hadoop 权威指南》读书笔记之七 —— chapter7The whole process of MapReduceat the highes level,there are five independent entities:the client,which submit the MapReuce job提交MapReduce job的客户端02.The YARN resou...原创 2019-01-03 16:26:06 · 419 阅读 · 0 评论 -
《Hadoop权威指南》读书笔记之六 — Chapter 6
《Hadoop权威指南》读书笔记之六 — Chapter 61.xml文件的读取01.添加在resources文件夹中02.使用Configuration 类的 addResource()文件03.获取.xml 文件中的属性04. .xml文件可以通过 variable expansion 的方式进行设置。 但是这个设置值的顺序是不是得有个先后呢?这个定义值的顺序是没有先后关系要求的,...原创 2019-01-02 20:16:54 · 419 阅读 · 0 评论 -
《Hadoop 权威指南》读书笔记之五 — Chapter 5
《Hadoop 权威指南》读书笔记之五 — Chapter 51.分布式数据处理中哪些方面使用到了 Serialization(序列化)?for interprocess communicationfor persistne storage2.在Hadoop 中, 节点间不同进程的通信的方式是:RPCs3.RPC 的主要特点如下:01.Compact带宽是分布式系统中的瓶颈,所以...原创 2019-01-01 16:27:52 · 1141 阅读 · 3 评论 -
《Hadoop权威指南》读书笔记之四 — Chapter 4
《Hadoop权威指南》读书笔记之四——Chapter 41.YARN : yet another resource negotiator2.yarn 提供访问和请求集群资源的api,但是这些apis并不能被用户直接使用。相反,用户可以使用分布式的计算框架的高级APIs。这些计算框架建立在YARN上,并且隐藏了具体实现。3.资源请求过程01.a client contact the res...原创 2018-12-28 18:21:12 · 479 阅读 · 0 评论 -
《Hadoop权威指南》读书笔记三 — Chapter 3
《Hadoop权威指南》读书笔记三—— Chapter 3 The Hadoop Distributed Filesystem[updating…]FileSystems that manage the storage across a network of machines are called distributed filesystems.HDFS is optimiz...原创 2018-12-28 15:09:11 · 398 阅读 · 0 评论 -
《Hadoop权威指南》读书笔记 — Chapter2
Hadoop读书笔记二 —— Chapter 2 MapReduce【updating…】Hadoop create one map task for each split.2.split 分割大小的问题:【想想为什么?】01.分割的小的话,有利于负载均衡。02.如果分割大的话,则不利于负载均衡03.如果分割的太小的话,又会有什么问题?3.如果发生的问题是:在计算MapReduce...原创 2018-12-27 14:06:17 · 505 阅读 · 0 评论 -
《Hadoop权威指南》读书笔记之一 — Chapter 1
《Hadoop权威指南》读书笔记01.Hadoop 是干嘛的?02.如何展现其reliable, scalable?原创 2018-12-26 21:35:27 · 694 阅读 · 0 评论