- 博客(4)
- 收藏
- 关注
RSS订阅原创 Spark算子之foldByKey
在学习foldByKey这个算子的时候，发现网上好多文章的内容相互冲突，于是决定自己实践一边，以理解这个算子是怎么运行的。foldByKeydef foldByKey(zeroValue: V, numPartitions: Int)(func: (V, V) => V): RDD[(K, V)] = self.withScope { foldByKey(zeroValue, n...
2020-02-22 16:46:21
333
原创 Scala与Java的区别
两种不同的语言，两种不同的编程思想，真比起来的话肯定需要一大片长文来写，自己也没这个水平。。在此简单的罗列一些基本的差别。Scala不需要分号结尾Scala函数式编程语言，在scala世界里，函数才是一等公民；函数可以作为参数进行传递，可以赋值给变量，可以作为返回值进行返回Scala类型定义开头需大写Scala函数定义需 def 开头，Scala函数没有返回值用Unit，相当于java的...
2020-02-20 11:33:24
427
原创 JVM内存结构及Java垃圾收集（GC算法、GC收集器）
最近正在复习Java相关的知识，总结一下JVM相关的知识点。JVM内存结构先上图堆内存（线程间共享）在虚拟机启动时创建，此内存区域的唯一目的就是存放对象实例，是垃圾收集器管理的主要区域（也叫GC堆），Java堆可以处于物理上不连续的内存空间中，只要逻辑上是连续的即可，如果在堆中没有内存完成实例分配，并且堆也无法再扩展时（通过-Xmx和-Xms控制扩展），将会抛出OutOfMemoryEr...
2020-02-19 12:09:14
232
转载 Hadoop NameNode 高可用 (High Availability) 实现解析
NameNode 高可用整体架构概述在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop 生态系统中依赖于 HDFS 的各个组件，包...
2020-02-09 11:49:43
225
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人