排序:
默认
按更新时间
按访问量

集合覆盖模型

集合覆盖模型 (一)模型介绍     在这里,将采用集合覆盖模型进行营业厅选址的计算,集合覆盖模型的基础思想是用最小数量的变压器在规定的半径范围去覆盖所有的需求点。 覆盖模型的数学模型为: , 约束条件为: N——区域中的变压器全集合,N={1,2,…,n}; M——区域中所需建...

2016-05-18 11:07:55

阅读数:7209

评论数:0

Spark Streaming 作业调度流程

StreamingContext在实例化时候会创建DStreamGraph、JobGenerator、JobScheduler 下面组件运行在Driver 1.JobGenerator: 通过timmer根据固定时间间隔(Batch Interval)不断的产生Job (其实此时的...

2016-05-18 10:37:39

阅读数:794

评论数:0

StreamingContext实例化过程

一.SparkStreaming实例化过程 创建StreamingContext的方法有很多种,示例以SparkCon和任务执行间隔作为参数创建StreamingContext val ssc = new StreamingContext(conf,Seconds(3)) 1.检...

2016-05-18 10:36:52

阅读数:1000

评论数:0

Spark作业调度

1.生成finalStage finalStage是根据RDD依赖关系(广度优先)回溯形成的一种ResultStage,内部包含了当前stage的父stage,shuffleDependecy优先进行回溯,如果当前rdd含有shuffleDependecy则继续回溯,直到回溯到最初始的R...

2016-05-18 10:35:46

阅读数:321

评论数:0

Spark中的Driver本质

spark-shell spark-submit --class org.apache.spark.repl.Main spark-sql spark-submit --class org.apache.spark.sql.hive.thriftserver.SparkSQL...

2016-05-18 10:35:11

阅读数:1095

评论数:0

Spark 中的序列化

1.序列化常用于网络传输和数据持久化以便于存储和传输,Spark通过两种方式来创建序列化器 val serializer = instantiateClassFromConf[Serializer]("spark.serializer", "org.apache.s...

2016-05-18 10:34:45

阅读数:5502

评论数:0

Spark Context

1.创建LiveListenerBus用于构建Spark事件处理模型 private[spark] val listenerBus = new LiveListenerBus 2.JobProgressListener创建并向listenerBus注册 _jobProgressL...

2016-05-18 10:33:59

阅读数:806

评论数:0

Spark env

1.给driver的分配core local => 1 local[5] =>5 local[*] =>当前进程能够给虚拟机分配的最大core数 非本地模式下都为0 2.初始化 SecurityManager 3.初始化RPCEnv,同时初始化Rpc工...

2016-05-18 10:33:24

阅读数:202

评论数:0

Spark RpcEnv

在SparkContext初始化环境时使用下面代码创建RpcEnv val rpcEnv = RpcEnv.create(actorSystemName, hostname, port, conf, securityManager,   clientMode = !isDriver) 创建R...

2016-05-18 10:32:41

阅读数:1563

评论数:0

Spark中的事件处理分析

一.当初始化SparkContext时,需要初始化Spark Env需要接受3个参数 _env = createSparkEnv(_conf, isLocal, listenerBus)上文listenerBus实例是LiveListenerBus同时继承自AsynchronousListene...

2016-05-18 10:32:08

阅读数:1029

评论数:0

eclipse创建Maven-web工程参考

http://www.cnblogs.com/candle806/p/3439469.html

2015-11-24 14:34:19

阅读数:301

评论数:0

Ambari-server源码分析(三):HeartbeatHander源码分析

通过上图可以很清楚的看到:HeartbeatHander用于接受各个agent的心跳请求(节点信息和返回的操作结果),并把节点信息传递给FSM状态机去维护该节点的状态,并把返回的操作结果传递给ActionManager去做进一步的处理 2,主要成员介绍: 心跳:内部包括节点信息和节点状态 {...

2015-10-20 18:04:03

阅读数:943

评论数:0

Ambari-server源码分析(一):Agent组件

ambari-server agent模块分析

2015-10-20 18:02:59

阅读数:1271

评论数:0

Ambari源码分析(一):Ambari架构

ambari-cwiki https://cwiki.apache.org/confluence/display/AMBARI/Ambari ambari-github https://github.com/apache/ambari Ambari系统架构 除了a...

2015-10-20 18:02:02

阅读数:2659

评论数:0

Mahout学习四--贝叶斯分类

一,算法流程 A,准备阶段 1,确定特征属性--->获取训练样本 B,训练阶段 1,对每个类别计算P(y1) 2,对每个特征属性计算所有划分的条件概率 C,预测阶段 1,对每个类别计算P(x|y1)P(y1) 2,以P(x|y1)P(y1)最大项作为X所属类别 二,...

2015-07-26 21:16:19

阅读数:587

评论数:0

Mahout学习三--逻辑回归预测

1,训练样本 mahout trainlogistic --input dataset/donut.csv \ --output ./model \ --target color --categories 2 \ --predictors x y --types numeric \ --...

2015-07-26 19:02:08

阅读数:1365

评论数:0

Mahout学习二--kmeans实例

1,将数据转化为SequenceFile hadoop fs -put input input_text mahout seqdirectory -i input_text  -o input_seq -c UTF8 -chunk 5 2,数据向量化 mahout seq2sparse -i in...

2015-07-26 18:12:29

阅读数:377

评论数:0

Mahout学习一

1,二进制转换成文本格式命令 mahout seqdumper -i output/clusterPoint -o dataSet/clusterPoint

2015-07-26 13:21:52

阅读数:468

评论数:0

hbase 继承RestFul问题

http://www.bejson.com/ java.lang.AbstractMethodError: javax.ws.rs.core.UriBuilder.uri(Ljava/lang/String;)Ljavax/ws/rs/core/UriBuilder; javax....

2015-06-26 20:05:40

阅读数:714

评论数:0

spark_job_server

note: a)    原来的Spark job提交方式在现在(CDH5.4.2 yarn-client模式)不能有效加载集群中HBase的配置信息,这会造成部分机器上executor(gs-server-10003, 10004, 10005没有安装Zookeeper的节点)无法进行hba...

2015-06-20 09:59:55

阅读数:685

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭