- 博客(5)
- 收藏
- 关注
原创 ES-Spark多个读和多个写的解决方法
Spark在读写ES时,需要在SparkConf里配置ES的用户名、密码、host、port,因此当涉及到多个读或写时,就需要配置多个SparkConf。但SparkConf在运行中是不允许被更改的,此时应该怎么办呢? 1、读:利用options进行配置 val sqlContext = new SQLContext(sc) val cfg = Map("es.index.aut...
2019-02-25 19:20:05 1315
原创 Spark之SchedulerBackend、DAGScheduler和TaskScheduler
在Spark应用启动时,会初始化SparkContext对象。在SparkContext中,会创建SchedulerBackend、DAGScheduler、TaskScheduler。
2017-08-29 16:45:17 450
原创 Java使用JVM堆外内存
本文实现了使用堆外内存存储数组的方法,具体用到的是sun.misc.Unsafe类中提供的allocateMemory和FreeMemory的方法。
2017-03-09 16:14:29 1005
原创 sun.misc.Unsafe的使用---使用堆外内存空间存储整形数组
public class Main3 { public static void main(String[] args) throws Exception { Integer[] a = new Integer[]{1, 2, 3, 4, 5, 7, 9, 888, 8, 102};//给定一个整形数组 final int length = a.length
2017-03-09 16:05:33 373
原创 Spark核心原理1:相关术语介绍
在了解Spark基本流程前,我们先了解几个概念: Application(应用程序):是指用户编写的Spark应用程序,包含驱动程序(Driver)和分布在集群中多个节点上运行的Executor代码,在执行过程中由1个或多个作业组成。 Driver(驱动程序):Spark中的Driver即运行上述Application的main函数并且创建的SparkConext,创建Spar
2017-02-22 20:03:06 539
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人