集合覆盖模型

集合覆盖模型 (一)模型介绍     在这里,将采用集合覆盖模型进行营业厅选址的计算,集合覆盖模型的基础思想是用最小数量的变压器在规定的半径范围去覆盖所有的需求点。 覆盖模型的数学模型为: , 约束条件为: N——区域中的变压器全集合,N={1,2,…,n}; M——区域中所需建...

2016-05-18 11:07:55

阅读数:6825

评论数:0

Spark Streaming 作业调度流程

StreamingContext在实例化时候会创建DStreamGraph、JobGenerator、JobScheduler 下面组件运行在Driver 1.JobGenerator: 通过timmer根据固定时间间隔(Batch Interval)不断的产生Job (其实此时的...

2016-05-18 10:37:39

阅读数:756

评论数:0

StreamingContext实例化过程

一.SparkStreaming实例化过程 创建StreamingContext的方法有很多种,示例以SparkCon和任务执行间隔作为参数创建StreamingContext val ssc = new StreamingContext(conf,Seconds(3)) 1.检...

2016-05-18 10:36:52

阅读数:967

评论数:0

Spark作业调度

1.生成finalStage finalStage是根据RDD依赖关系(广度优先)回溯形成的一种ResultStage,内部包含了当前stage的父stage,shuffleDependecy优先进行回溯,如果当前rdd含有shuffleDependecy则继续回溯,直到回溯到最初始的R...

2016-05-18 10:35:46

阅读数:313

评论数:0

Spark中的Driver本质

spark-shell spark-submit --class org.apache.spark.repl.Main spark-sql spark-submit --class org.apache.spark.sql.hive.thriftserver.SparkSQL...

2016-05-18 10:35:11

阅读数:1050

评论数:0

Spark 中的序列化

1.序列化常用于网络传输和数据持久化以便于存储和传输,Spark通过两种方式来创建序列化器 val serializer = instantiateClassFromConf[Serializer]("spark.serializer", "org.apache.s...

2016-05-18 10:34:45

阅读数:5370

评论数:0

Spark Context

1.创建LiveListenerBus用于构建Spark事件处理模型 private[spark] val listenerBus = new LiveListenerBus 2.JobProgressListener创建并向listenerBus注册 _jobProgressL...

2016-05-18 10:33:59

阅读数:787

评论数:0

Spark env

1.给driver的分配core local => 1 local[5] =>5 local[*] =>当前进程能够给虚拟机分配的最大core数 非本地模式下都为0 2.初始化 SecurityManager 3.初始化RPCEnv,同时初始化Rpc工...

2016-05-18 10:33:24

阅读数:202

评论数:0

Spark RpcEnv

在SparkContext初始化环境时使用下面代码创建RpcEnv val rpcEnv = RpcEnv.create(actorSystemName, hostname, port, conf, securityManager,   clientMode = !isDriver) 创建R...

2016-05-18 10:32:41

阅读数:1517

评论数:0

Spark中的事件处理分析

一.当初始化SparkContext时,需要初始化Spark Env需要接受3个参数 _env = createSparkEnv(_conf, isLocal, listenerBus)上文listenerBus实例是LiveListenerBus同时继承自AsynchronousListene...

2016-05-18 10:32:08

阅读数:1004

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭