Scala
文章平均质量分 70
飞鸿踏雪Ben归来
努力跟上技术时代
展开
-
scala的for循环
Scala没有与Java对应格式的for循环结构,但是Scala的for循环更加灵活。结构格式如下: for (i do something } 其中i不用val或var提前声明,直接用,加上val或var反而报错;1 to n表示需要循环的范围,注意,to形成的是包括边际的范围,此即包括1和n。如果需要多重循环,还可以用分号隔开后再加一范围,如下: for (i原创 2016-01-28 11:21:13 · 1872 阅读 · 0 评论 -
java.lang.IllegalArgumentException: System memory 468189184 must be at least 4.718592E8
在Eclipse里开发spark项目,尝试直接在spark里运行程序的时候,遇到下面这个报错: ERROR SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: System memory 468189184 must be at least 4.718592E8. Please u原创 2016-03-03 12:30:14 · 11049 阅读 · 0 评论 -
Scala写的wordcount
参照文档加以修改和深化,mark一下 package mywork import java.io.File import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object WordCount { def main(arg原创 2016-02-28 20:50:53 · 780 阅读 · 0 评论 -
理解Spark RDD中的aggregate函数
针对Spark的RDD,API中有一个aggregate函数,本人理解起来费了很大劲,明白之后,mark一下,供以后参考。 首先,Spark文档中aggregate函数定义如下 def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U原创 2016-06-07 15:15:33 · 21938 阅读 · 4 评论