- 博客(4)
- 收藏
- 关注
原创 Spark算子之foldByKey
在学习foldByKey这个算子的时候,发现网上好多文章的内容相互冲突,于是决定自己实践一边,以理解这个算子是怎么运行的。foldByKeydef foldByKey(zeroValue: V, numPartitions: Int)(func: (V, V) => V): RDD[(K, V)] = self.withScope { foldByKey(zeroValue, n...
2020-02-22 16:46:21 362
原创 Scala与Java的区别
两种不同的语言,两种不同的编程思想,真比起来的话肯定需要一大片长文来写,自己也没这个水平。。在此简单的罗列一些基本的差别。Scala不需要分号结尾Scala函数式编程语言,在scala世界里,函数才是一等公民;函数可以作为参数进行传递,可以赋值给变量,可以作为返回值进行返回Scala类型定义开头需大写Scala函数定义需 def 开头,Scala函数没有返回值用Unit,相当于java的...
2020-02-20 11:33:24 446
原创 JVM内存结构及Java垃圾收集(GC算法、GC收集器)
最近正在复习Java相关的知识,总结一下JVM相关的知识点。JVM内存结构先上图堆内存(线程间共享)在虚拟机启动时创建,此内存区域的唯一目的就是存放对象实例,是垃圾收集器管理的主要区域(也叫GC堆),Java堆可以处于物理上不连续的内存空间中,只要逻辑上是连续的即可,如果在堆中没有内存完成实例分配,并且堆也无法再扩展时(通过-Xmx和-Xms控制扩展),将会抛出OutOfMemoryEr...
2020-02-19 12:09:14 252
转载 Hadoop NameNode 高可用 (High Availability) 实现解析
NameNode 高可用整体架构概述在 Hadoop 1.0 时代,Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题,这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息,一旦 NameNode 挂掉,整个 HDFS 就无法访问,同时 Hadoop 生态系统中依赖于 HDFS 的各个组件,包...
2020-02-09 11:49:43 256
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人