- 博客(7)
- 收藏
- 关注
原创 Java String实例的创建和常量池的关系及intern方法
Java String实例的创建和各种常量池的关系常量池class文件常量池(class constant pool)class文件中除了包含类的版本、字段、方法、接口等描述信息外,还有一项信息就是常量池(constant pool table),用于存放编译器生成的各种字面量(Literal)和符号引用(Symbolic References)。 字面量就是我们所说的常量概念,如文本字...
2019-04-11 11:45:52
495
4
原创 详解Spark核心算子 : aggregateByKey和combineByKey
详解Spark核心算子 : aggregateByKey和combineByKeyaggregateByKey aggregateByKey有三种声明def aggregateByKey[U: ClassTag](zeroValue: U, partitioner: Partitioner) (seqOp: (U, V) => U, combOp: (U, U) =&g...
2019-03-21 16:17:13
2378
原创 理解 Spark RDD 算子 aggregate
理解Spark核心算子aggregatedef aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U这个算子一共有两个参数列表,第一个参数列表中传递 (zeroValue) (第零个值)第二个参数列表中传递两个函数,第一个函数seqOp用于处理每个分...
2019-03-20 20:27:56
769
原创 字节跳动2019笔试题:奖品分配
字节跳动2019笔试——奖品分配分数更高,奖品一定要更多,有可能出现分数一样但是奖品比他多的情况,搞不懂。示例1:输入221 241 2 3 3输出38当时没写出来,大致思路:遍历分数数组,记录他们之间的奖品增量,最后奖品数量有正有负,计算最小的奖品数量到1的增量,全体奖品数量加这个增量。只和前一个比,大的话,奖品就在前一个的基础上+1,小就-1,只改自己,一个一...
2019-03-17 15:48:34
2216
原创 scala中的class&object伴生对象和伴生类
scala中的class&object伴生对象和伴生类scala中并没有像java一样同时拥有静态成员和非静态成员。在scala中规定所有静态成员定义在object中,其他成员定义在class中两个定义在同一个源文件中的,同名的,object和class,object是class的伴生对象class是object的伴生类为什么叫做伴生对象,我认为既然里面定义的都是静态的,那这...
2019-03-07 12:06:35
658
原创 Hadoop MapReduce reducerTask和partition的对应关系
谈一谈关于reducerTask和partition的对应关系在hadoopMR中,许多人的理解就是partition和reduceTask的关系就是一对一,这样理解没错,通常情况下reduceTask的数量和partition就是一对一的关系,但是他们不是绝对一对一的关系,reduceTask的数量由job提交时设置的numreducretask决定。partition只是决定这条数据应...
2019-02-28 11:42:45
1103
原创 Hadoop MapReduce Shuffle 过程解析
mapreduceShuffle过程解析Shuffle过程是Mapreduce的核心,要想理解Mapreduce,Shuffle过程是必须了解的。Shuffle的本义是洗牌,混乱,把一组有规则的数据转换成一组无规则的数据,Mapreduce中的shuffle更像是洗牌的逆过程,把map端处理完的数据规约到reduce端,更像是一个整合的过程,把相对无规则的数据转换成有规则的数据。为什么M...
2019-02-28 10:46:50
608
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人