- 博客(7)
- 收藏
- 关注
RSS订阅原创 Java String实例的创建和常量池的关系及intern方法
Java String实例的创建和各种常量池的关系常量池class文件常量池（class constant pool）class文件中除了包含类的版本、字段、方法、接口等描述信息外，还有一项信息就是常量池(constant pool table)，用于存放编译器生成的各种字面量(Literal)和符号引用(Symbolic References)。 字面量就是我们所说的常量概念，如文本字...
2019-04-11 11:45:52
447
4
原创 详解Spark核心算子 : aggregateByKey和combineByKey
详解Spark核心算子 : aggregateByKey和combineByKeyaggregateByKey aggregateByKey有三种声明def aggregateByKey[U: ClassTag](zeroValue: U, partitioner: Partitioner) (seqOp: (U, V) => U, combOp: (U, U) =&g...
2019-03-21 16:17:13
2325
原创 理解 Spark RDD 算子 aggregate
理解Spark核心算子aggregatedef aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U这个算子一共有两个参数列表，第一个参数列表中传递 （zeroValue） （第零个值）第二个参数列表中传递两个函数，第一个函数seqOp用于处理每个分...
2019-03-20 20:27:56
738
原创 字节跳动2019笔试题：奖品分配
字节跳动2019笔试——奖品分配分数更高，奖品一定要更多，有可能出现分数一样但是奖品比他多的情况，搞不懂。示例1：输入221 241 2 3 3输出38当时没写出来，大致思路：遍历分数数组，记录他们之间的奖品增量，最后奖品数量有正有负，计算最小的奖品数量到1的增量，全体奖品数量加这个增量。只和前一个比，大的话，奖品就在前一个的基础上+1，小就-1，只改自己，一个一...
2019-03-17 15:48:34
2201
原创 scala中的class&object伴生对象和伴生类
scala中的class&object伴生对象和伴生类scala中并没有像java一样同时拥有静态成员和非静态成员。在scala中规定所有静态成员定义在object中，其他成员定义在class中两个定义在同一个源文件中的，同名的，object和class，object是class的伴生对象class是object的伴生类为什么叫做伴生对象，我认为既然里面定义的都是静态的，那这...
2019-03-07 12:06:35
643
原创 Hadoop MapReduce reducerTask和partition的对应关系
谈一谈关于reducerTask和partition的对应关系在hadoopMR中，许多人的理解就是partition和reduceTask的关系就是一对一，这样理解没错，通常情况下reduceTask的数量和partition就是一对一的关系，但是他们不是绝对一对一的关系，reduceTask的数量由job提交时设置的numreducretask决定。partition只是决定这条数据应...
2019-02-28 11:42:45
1065
原创 Hadoop MapReduce Shuffle 过程解析
mapreduceShuffle过程解析Shuffle过程是Mapreduce的核心，要想理解Mapreduce，Shuffle过程是必须了解的。Shuffle的本义是洗牌，混乱，把一组有规则的数据转换成一组无规则的数据，Mapreduce中的shuffle更像是洗牌的逆过程，把map端处理完的数据规约到reduce端，更像是一个整合的过程，把相对无规则的数据转换成有规则的数据。为什么M...
2019-02-28 10:46:50
570
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人