caoli98033的专栏

上一篇说明了scala风格的insert Sort的代码，其

spark-jobserver提供了一个用于提交和管理Apache Spark作业(job)、jar文件和作业上下文（SparkContext）的RESTful接口。该项目位于git（https://github.com/ooyala/spark-jobserver），当前为0.4版本。特性“Spark as a Service”: 简单的面向job和context管理的REST接

创建SparkContext的时候，new SparkContext(master, appName, [sparkHome], [jars])，第一个参数是master，具体含义如下：Master URLs传递给Spark的master URL可以是以下任一种形式：Master URL 含义local 使用一个Worker线程本地化运行SPARK(完全不并行)

1、监控本地文件夹下的文件信息[java] view plaincopyimport org.apache.spark.SparkConf  import org.apache.spark.streaming.{Seconds, StreamingContext}  import org.apache.spark.streaming.

spark中updateStateByKey引发StackOverflowError的解决问题描述写的spark程序, 运行几个小时候总是会出现 StackOverflowError.程序使用 spark-1.1 运行.代码的逻辑大概是:streamB = streamA.map().fiter().recudeByKeyAndWindow()stream

转一篇在Windows中的idea下，利用sbt制作spark源码阅读环境的文章。个人觉得想要从事spark的工作，阅读spark源码非常重要。鄙人当年搞Linux驱动开发时，也是一个劲的阅读Linux源码，道理都是相通的。之前用source inside看spark源码，但是source inside对scala不支持，所以还是觉得用idea好一些。转载的原文地址为：http

在一个Spark程序的开始部分，有好多是用sparkContext的parallelize制作RDD的，是ParallelCollectionRDD，创建一个并行集合。例如sc.parallelize(0 until numMappers, numMappers)创建并行集合的一个重要参数，是slices的数目（例子中是numMappers），它指定了将数据集切分为几份。在集群模式中，

Random类：专门用于生成一个伪随机数，它有两个构造器：一个构造器使用默认的种子，另一个构造器需要程序员显式传入一个long型整数的种子。public static void main(String[] args) {  Random random=new Random();  System.out.println(random.nextBoolean());//生成布尔型的伪随机数

转一篇 董大牛的blog：Spark内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。本文将介绍3个Scala Spark编程实例，分别是WordCount、TopK和Spark

转载一个国外大牛制作的RDD的例子，交全面。   Zhen HeAssociate ProfessorDepartment of Computer Science and Computer EngineeringLa Trobe UniversityBundoora, Victoria 3086Australia

上界符号  对应的

1.actor用法Scala会建立一个线程池共所有Actor来使用。receive模型是Actor从池中取一个线程一直使用；react模型是Actor从池中取一个线程用完给其他Actor用

伴随Spark技术的普及推广，对专业人才的需求日益增加。Spark专业人才在未来也是炙手可热，轻而易举可以拿到百万的薪酬。而要想成为Spark高手，也需要一招一式，从内功练起：通常来讲需要经历以下阶段：　　第一阶段：熟练的掌握Scala语言　　Spark框架是采用Scala语言编写的，精致而优雅。要想成为Spark高手，你就必须阅读Spark的源代码，就必须掌握Scala,;　

转点别人的东西，reduceLeft相关的reduceLeft 方法首先应用于前两个元素，然后再应用于第一次应用的结果和接下去的一个元素，等等，直至整个列表。例如计算阶乘：def fac(n: Int) = 1 to n reduceLeft(_*_)fac(5) // 5*4*3*2 = 120相当于：    ((((1*2)*3)

举个例子（）：

scala的隐式转换，我个人理解的，像是一种非常聪明的“宏定义”

例子一：implicit def stringWrapper(s : String) =    new RandomAccessSeq[Char] {      def length = s.length      def apply(i : Int) = s.charAt(i)    }

今天学习《scala编程》这本书，

续上一篇Spark as a Service之jobServer部署使用开发者模式来测试，本文正式部署并使用jobserver，当前版本有很多BUG和不完善的地方，期待后续的版本修复。部署复制config/local.sh.template到local.sh ，并且设置相关参数。 可以在多个主机上配置jobserver，并指定安装路径，Spark Home, Spark Conf