Spark
文章平均质量分 77
镜中阿猫
这个作者很懒,什么都没留下…
展开
-
Spark之Scala语言常见应用举例
作为一个初学者,初次学习Spark,分享一下自己的心得。 在学习Spark编程时,首先得准备编译环境,确定编程语言,本人用的是Scala语言,IntelliJ IDEA编译环境,同时得准备四个包,分别是:spark-assembly-1.3.1-hd-2.6.0.jar、scala-compiler.jar、scala-library.jar、scala-reflect.jar。将这四个包导入,原创 2015-12-12 11:43:53 · 3649 阅读 · 0 评论 -
Spark---Scala与Java性能比较
自己分别用Java和Scala写了一个词频统计的例子,自己找了一个1000万的数据,然后模拟的是4个进程,读取的本地txt文件,然后统计两种语言的运行时间,做了十组对比,具体如下: Java与Scala语言性能对比 组数/语言 Java语言(ms) Scala语言(ms) 1 18270 9070 2 17917 8476原创 2015-12-13 15:24:09 · 9239 阅读 · 0 评论