排序:
默认
按更新时间
按访问量

通过sbt参数实现scala代码编译控制

因为我们基于spark的数据平台需要针对不同的spark版本进行代码的兼容,和项目构建的方便。需要通过使用sbt构建项目时通过指定spark版本来构建依赖不同spark版本的代码。 首先,我们将不兼容的项目代码分别放到不同的目录下,目录结构如下: 然后,通过不同指定不同的spark版本编译...

2018-06-11 20:46:00

阅读数:184

评论数:0

JVM 垃圾收集器

GC是jvm自动内存管理机制的具体实现。在HotSpot中,GC的工作主要划分为两大块,分别是内存的动态分配和垃圾回收。jvm中存活对象的生命周期具有两极化,因此该采取不同的垃圾收集策略,分代收集由此诞生。java堆内存划分为新生代(YoungGen)和老年代(OldGen),其中新生代又划分为E...

2018-05-21 10:23:35

阅读数:16

评论数:0

spark history server部署

spark history server是spark提供的spark应用历史数据查询服务,可以通过history server页面查看已经运行结束的spark应用的所有job执行情况,用于分析,因为spark集群保存的spark应用数量和每个应用的job数量有一定的限制,对于时间比较久远的应用或者...

2018-05-13 17:50:42

阅读数:20

评论数:0

spark源码分析—spark core(一):集群启动

spark集群通过spark的start-all.sh脚本进行启动,所以首先我们看一下该脚本的内容,该脚本内容很简单,它会通过调用相同目录下的start-master.sh脚本启动spark Master服务,调用start-slaves.sh脚本启动spark Worker服务。大家注意star...

2018-05-13 17:41:46

阅读数:41

评论数:0

JavaScript中的this关键字

this是js的一个关键字,也是js种最复杂的机制之一,它被自动定义在所有函数的作用域中。this的优势在哪里,为什么要用this?先看一个实例:```function identify() {    return this.name.toUpperCase();}function speak()...

2018-05-13 17:33:12

阅读数:213

评论数:0

spark源码分析— spark广播变量

spark广播变量是spark中一种只读的数据,广播的数据被集群不同节点共享,且默认存储在内存中,读取速度比较快。spark内部有很多地方都使用的广播变量功能,比如spark sql的join有一种broadcast join,就是使用广播变量实现的小表join的优化;spark提交job时,将t...

2018-05-06 14:02:18

阅读数:54

评论数:0

你不知道的js(一)--作用域与闭包

我们知道编程语言都有变量,变量用来存储值,并能对变量的值进行修改。但是这些值存在哪里?程序如何找到它们?这需要一套设计良好的规则来存储变量,并方便的找到这些变量,这套规则被称为作用域。比如代码 var a = 2;js会如何解释这段代码?编译器会将这段代码分成两个操作进行处理。首先处理var a,...

2018-04-02 23:33:08

阅读数:17

评论数:0

Java解惑--一、表达式之谜

1、奇数性下面的方法是否能确定其参数是否为奇数:public static boolean isOdd(int i) { return i % 2 == 1; }奇数可定义为被2整除余数为1的整数,因此上面的方法看起来可行。但是很遗憾,在四分之一的时间里它返回的都是错误答案。 为什么是四...

2017-07-29 21:50:49

阅读数:138

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭