hadoop
拙异
这个作者很懒,什么都没留下…
展开
-
关于Scala的ClassTag
https://zhuanlan.zhihu.com/p/69792401原创 2021-02-08 15:26:40 · 390 阅读 · 0 评论 -
ACL是什么?
Access Control Lists , “ACLs”, are network traffic filters that can control incoming or outgoing traffic. ACLs work on a set of rules that define how to forward or block a packet at the router’s interface. An ACL is the same as a Stateless Firewall, which.原创 2021-02-04 14:54:03 · 275 阅读 · 0 评论 -
MapReduce GroupingComparator 的作用
框架输入文本: symbol time price a 1 10 a 2 20 b 3 30Map 输出: 创建复合key、复合values 如下:symbol-time time-price a-1 1-10 a-2 2-20 b-3 3-30Map输出后 Partitioner 的操作: 将 a-1和 a-2发送到由到同一个 Reducer ..翻译 2021-01-30 20:55:00 · 137 阅读 · 0 评论 -
Hadoop FileInputFormat getSplits() 源码解析,以及 InputFormat 作用
FileInputFormatgetSplits() 源码解析(1)找到你数据存储的目录。如果是 Local 模式,文件信息里会说明blocksize= 32M,如果是 Yarn 模式, blocksize= 128。(2)开始遍历处理(规划切片)目录下的每一个文件。(3)遍历第一个文件ss.txt。 a)获取文件大小 fs.sizeOf(ss.txt);。 b)计算切片大小 computeSliteSize(Math.max(minSize,Math.min(maxSize,blocks..原创 2021-01-29 15:28:30 · 218 阅读 · 0 评论 -
Java客户端向 Hadoop 提交 Mapreduce 程序前后发生了什么?
1. 客户端调用waitForCompletion()后,源码的主要操作: Checking the input and output specifications of the job. Computing theInputSplitvalues for the job. Setting up the requisite accounting information for theDistributedCacheof the job, if necessary. ...原创 2021-01-28 16:01:30 · 73 阅读 · 0 评论