- 博客(17)
- 资源 (12)
- 收藏
- 关注
原创 Intellij IDEA 14.1.4 Scala开发环境搭建
主要内容Intellij IDEA开发环境简介Intellij IDEA Scala开发环境搭建Intellij IDEA Spark开发环境搭建Intellij IDEA常见问题及解决方案Intellij IDEA常用快捷键1. Intellij IDEA开发环境简介具体介绍请参见:http://baike.baidu.com/link?url=SBY93H3SPkmcmIOmZ8H6
2015-10-29 23:10:25 72270 7
原创 Spark修炼之道(高级篇)——Spark源码阅读:第九节 Task执行成功时的结果处理
Task执行成功时的结果处理在上一节中,给出了Task在Executor上的运行代码演示,我们知道代码的最终运行通过的是TaskRunner方法class TaskRunner( execBackend: ExecutorBackend, val taskId: Long, val attemptNumber: Int, taskName: Strin
2015-10-29 19:34:56 6021 3
原创 Spark修炼之道(高级篇)——Spark源码阅读:第八节 Task执行
Task执行在上一节中,我们提到在Driver端CoarseGrainedSchedulerBackend中的launchTasks方法向Worker节点中的Executor发送启动任务命令,该命令的接收者是CoarseGrainedExecutorBackend(Standalone模式),类定义源码如下:private[spark] class CoarseGrainedExecutorBack
2015-10-29 12:00:24 6104 1
原创 Spark修炼之道(高级篇)——Spark源码阅读:第七节 resourceOffers方法与launchTasks方法解析
在上一节中,我们提到Task提交通过makeOffers提交到Executor上 // Make fake resource offers on just one executor private def makeOffers(executorId: String) { // Filter out executors under killing if (!exe
2015-10-28 21:38:42 5314 5
原创 Spark修炼之道(高级篇)——Spark源码阅读:第六节 Task提交
Task提交在上一节中的 Stage提交中我们提到,最终stage被封装成TaskSet,使用taskScheduler.submitTasks提交,具体代码如下:taskScheduler.submitTasks(new TaskSet( tasks.toArray, stage.id, stage.latestInfo.attemptId, stage.firstJobId, p
2015-10-27 23:49:05 5146
原创 Spark修炼之道(高级篇)——Spark源码阅读:第五节 Stage提交
Stage提交调用流程: 1.org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted 2. org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted.submitStage 3. org.apache.spark.scheduler.DAGScheduler.handleJ
2015-10-26 17:45:45 5218 1
原创 Spark修炼之道(高级篇)——Spark源码阅读:第二节 SparkContext的创建
博文推荐:http://blog.csdn.net/anzhsoft/article/details/39268963,由大神张安站写的Spark架构原理,使用Spark版本为1.2,本文以Spark 1.5.0为蓝本,介绍Spark应用程序的执行流程。 本文及后面的源码分析都以下列代码为样板import org.apache.spark.{SparkConf, SparkContext}obje
2015-10-25 00:03:42 7492 6
原创 Spark修炼之道(高级篇)——Spark源码阅读:第四节 Stage划分
Stage划分在上一节中我们讲了 Spark Job的提交,在该讲中我们提到,当rdd触发action操作之后,会调用SparkContext的runJob方法,最后调用的DAGScheduler.handleJobSubmitted方法完成整个job的提交。然后DAGScheduler根据RDD的lineage进行Stage划分,再生成TaskSet,由TaskScheduler向集群申请资源,最
2015-10-24 23:48:04 7046 4
原创 Spark修炼之道(高级篇)——Spark源码阅读:第三节 Spark Job的提交
前一我们分析了SparkContext的创建,这一节,我们介绍在RDD执行的时候,如何提交job进行分析,同样是下面的源码:import org.apache.spark.{SparkConf, SparkContext}object SparkWordCount{ def main(args: Array[String]) { if (args.length == 0) {
2015-10-19 23:48:16 9348 5
原创 Spark修炼之道(高级篇)——Spark源码阅读:第一节 Spark应用程序提交流程
spark-submit 脚本应用程序提交流程执行提交命令如下:root@sparkmaster:/hadoopLearning/spark-1.5.0-bin-hadoop2.4/bin# ./spark-submit --master spark://sparkmaster:7077 --class SparkWordCount --executor-memory 1g /root/IdeaPr
2015-10-19 12:47:04 17954 3
原创 Spark 1.5.0 远程调试
Spark 1.5.0 远程调试作者:摇摆少年梦 微信号:zhouzhihubeyond先决条件已安装好Spark集群,本例子中使用的是spark-1.5.0. 安装方法参见:http://blog.csdn.net/lovehuangjiaju/article/details/48494737已经安装好Intellij IDEA,本例中使用的是Intellij IDEA 14.1.4,具体安
2015-10-18 17:50:09 13467 4
原创 Spark修炼之道(基础篇)——Linux大数据开发基础:第十五节:基础正则表达式(一)
参考书目:鸟哥的LINUX私房菜基础学习篇(第三版) Linux Shell Scripting Cookbook本节主要内容基础正则表达式1. 基础正则表达式(1)^行开始符^匹配一行的开始,例如’^Spark’ 匹配所有Spark开始的行//grep -n表示查找到的结果显示行号root@sparkslave02:~/ShellLearning# grep
2015-10-07 22:29:08 5612
原创 Spark修炼之道(基础篇)——Linux大数据开发基础:第十四节:Shell编程入门(六)
本文主要内容case控制结构read命令管道1. case控制结构参考:http://blog.csdn.net/dreamtdp/article/details/8048720 case控制结构语法格式:case expression in pattern1 ) statements ;; pattern2 ) statement
2015-10-06 16:13:18 3264
原创 Spark修炼之道(基础篇)——Linux大数据开发基础:第十三节:Shell编程入门(五)
本节主要内容while循环控制结构if条件判断until循环控制结构1. while循环控制结构本节例子来源:http://blog.chinaunix.net/uid-25880122-id-2901409.html 语法格式:while expressiondocommandcommanddone(1)计数器格式适用于循环次数已知或固定时root@sparkslave02:~/
2015-10-05 21:14:54 4952 2
原创 Spark修炼之道(基础篇)——Linux大数据开发基础:第十二节:Shell编程入门(四)
本节主要内容shell脚本调试shell函数shell控制结构初步1. shell脚本调试当脚本出错时,需要对脚本进行调试,学会脚本调试是每个linux系统使用者必备技能。shell脚本调试无需任何额外的工具,只需要要在脚本文件前加-x选项即可,创建debug.sh文件,内容如下:#!/bin/bash#Filename: debug.shecho "scripting"echo "d
2015-10-05 17:44:49 3903 1
原创 Spark修炼之道(基础篇)——Linux大数据开发基础:第十一节:Shell编程入门(三)
本节主要内容shell数组shell命令别名时间操作1. Shell数组同C、C++等语言一样,shell脚本也提供了数组这样一个重要的数据结构,shell中的数组有两种,一种为普通数组,另外的一种称为关联数组。普通数据的存取通过整数进行,关联数组的存取通过字符串进行。具体如下://用()定义一个数组,注意数组元素间不能用,否则达不到预期目的root@sparkmaster:~/Shell
2015-10-05 15:34:22 4166
原创 Spark修炼之道(基础篇)——Linux大数据开发基础:第十节:Shell编程入门(二)
本节主要内容 1. shell命令行中的基本运算 2. 文件描述符与文件重定向
2015-10-04 21:47:42 4160 3
Local Binary Pattern Histogram Fourier Features
2011-12-22
Matlab implementation of rotation invariant Local Phase Quantization (LPQ).
2011-12-22
Latest Matlab implementation of Local Phase Quantization (LPQ) descriptors
2011-12-22
[计算机科学经典着作].Addison.Wesley.Advanced.Programming.In.The.Unix.Environment.(2005).2Ed.pdf
2010-11-19
DOM入门操作doc版
2010-05-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人