2015年10月_zhouzhihubeyond

12月 11月 10月 09月 08月 07月

原创 Intellij IDEA 14.1.4 Scala开发环境搭建

主要内容Intellij IDEA开发环境简介Intellij IDEA Scala开发环境搭建Intellij IDEA Spark开发环境搭建Intellij IDEA常见问题及解决方案Intellij IDEA常用快捷键1. Intellij IDEA开发环境简介具体介绍请参见：http://baike.baidu.com/link?url=SBY93H3SPkmcmIOmZ8H6

2015-10-29 23:10:25 72269 7

原创 Spark修炼之道（高级篇）——Spark源码阅读：第九节 Task执行成功时的结果处理

Task执行成功时的结果处理在上一节中，给出了Task在Executor上的运行代码演示，我们知道代码的最终运行通过的是TaskRunner方法class TaskRunner( execBackend: ExecutorBackend, val taskId: Long, val attemptNumber: Int, taskName: Strin

2015-10-29 19:34:56 6021 3

原创 Spark修炼之道（高级篇）——Spark源码阅读：第八节 Task执行

Task执行在上一节中，我们提到在Driver端CoarseGrainedSchedulerBackend中的launchTasks方法向Worker节点中的Executor发送启动任务命令，该命令的接收者是CoarseGrainedExecutorBackend（Standalone模式），类定义源码如下：private[spark] class CoarseGrainedExecutorBack

2015-10-29 12:00:24 6104 1

原创 Spark修炼之道（高级篇）——Spark源码阅读：第七节 resourceOffers方法与launchTasks方法解析

在上一节中，我们提到Task提交通过makeOffers提交到Executor上 // Make fake resource offers on just one executor private def makeOffers(executorId: String) { // Filter out executors under killing if (!exe

2015-10-28 21:38:42 5314 5

原创 Spark修炼之道（高级篇）——Spark源码阅读：第六节 Task提交

Task提交在上一节中的 Stage提交中我们提到，最终stage被封装成TaskSet，使用taskScheduler.submitTasks提交，具体代码如下：taskScheduler.submitTasks(new TaskSet( tasks.toArray, stage.id, stage.latestInfo.attemptId, stage.firstJobId, p

2015-10-27 23:49:05 5146

原创 Spark修炼之道（高级篇）——Spark源码阅读：第五节 Stage提交

Stage提交调用流程： 1.org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted 2. org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted.submitStage 3. org.apache.spark.scheduler.DAGScheduler.handleJ

2015-10-26 17:45:45 5218 1

原创 Spark修炼之道（高级篇）——Spark源码阅读：第二节 SparkContext的创建

博文推荐：http://blog.csdn.net/anzhsoft/article/details/39268963，由大神张安站写的Spark架构原理，使用Spark版本为1.2，本文以Spark 1.5.0为蓝本，介绍Spark应用程序的执行流程。本文及后面的源码分析都以下列代码为样板import org.apache.spark.{SparkConf, SparkContext}obje

2015-10-25 00:03:42 7490 6

原创 Spark修炼之道（高级篇）——Spark源码阅读：第四节 Stage划分

Stage划分在上一节中我们讲了 Spark Job的提交，在该讲中我们提到，当rdd触发action操作之后，会调用SparkContext的runJob方法，最后调用的DAGScheduler.handleJobSubmitted方法完成整个job的提交。然后DAGScheduler根据RDD的lineage进行Stage划分，再生成TaskSet，由TaskScheduler向集群申请资源，最

2015-10-24 23:48:04 7046 4

原创 Spark修炼之道（高级篇）——Spark源码阅读：第三节 Spark Job的提交

前一我们分析了SparkContext的创建，这一节，我们介绍在RDD执行的时候，如何提交job进行分析，同样是下面的源码：import org.apache.spark.{SparkConf, SparkContext}object SparkWordCount{ def main(args: Array[String]) { if (args.length == 0) {

2015-10-19 23:48:16 9348 5

原创 Spark修炼之道（高级篇）——Spark源码阅读：第一节 Spark应用程序提交流程

spark-submit 脚本应用程序提交流程执行提交命令如下：root@sparkmaster:/hadoopLearning/spark-1.5.0-bin-hadoop2.4/bin# ./spark-submit --master spark://sparkmaster:7077 --class SparkWordCount --executor-memory 1g /root/IdeaPr

2015-10-19 12:47:04 17954 3

原创 Spark 1.5.0 远程调试

Spark 1.5.0 远程调试作者：摇摆少年梦微信号：zhouzhihubeyond先决条件已安装好Spark集群，本例子中使用的是spark-1.5.0. 安装方法参见：http://blog.csdn.net/lovehuangjiaju/article/details/48494737已经安装好Intellij IDEA，本例中使用的是Intellij IDEA 14.1.4，具体安

2015-10-18 17:50:09 13467 4

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第十五节：基础正则表达式（一)

参考书目：鸟哥的LINUX私房菜基础学习篇（第三版） Linux Shell Scripting Cookbook本节主要内容基础正则表达式1. 基础正则表达式(1)^行开始符^匹配一行的开始，例如’^Spark’ 匹配所有Spark开始的行//grep -n表示查找到的结果显示行号root@sparkslave02:~/ShellLearning# grep

2015-10-07 22:29:08 5612

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第十四节：Shell编程入门（六)

本文主要内容case控制结构read命令管道1. case控制结构参考：http://blog.csdn.net/dreamtdp/article/details/8048720 case控制结构语法格式：case expression in pattern1 ) statements ;; pattern2 ) statement

2015-10-06 16:13:18 3264

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第十三节：Shell编程入门（五)

本节主要内容while循环控制结构if条件判断until循环控制结构1. while循环控制结构本节例子来源：http://blog.chinaunix.net/uid-25880122-id-2901409.html 语法格式：while expressiondocommandcommanddone（1）计数器格式适用于循环次数已知或固定时root@sparkslave02:~/

2015-10-05 21:14:54 4952 2

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第十二节：Shell编程入门（四)

本节主要内容shell脚本调试shell函数shell控制结构初步1. shell脚本调试当脚本出错时，需要对脚本进行调试，学会脚本调试是每个linux系统使用者必备技能。shell脚本调试无需任何额外的工具，只需要要在脚本文件前加-x选项即可，创建debug.sh文件，内容如下：#!/bin/bash#Filename: debug.shecho "scripting"echo "d

2015-10-05 17:44:49 3903 1

原创 Spark修炼之道（基础篇）——Linux大数据开发基础：第十一节：Shell编程入门（三)

本节主要内容shell数组shell命令别名时间操作1. Shell数组同C、C++等语言一样，shell脚本也提供了数组这样一个重要的数据结构，shell中的数组有两种，一种为普通数组，另外的一种称为关联数组。普通数据的存取通过整数进行，关联数组的存取通过字符串进行。具体如下://用()定义一个数组，注意数组元素间不能用,否则达不到预期目的root@sparkmaster:~/Shell

2015-10-05 15:34:22 4166