spark
文章平均质量分 58
cswangs
之前的行当:http://blog.chinaunix.net/uid/29298488.html
展开
-
spark-submit 运行参数问题记录
import org.apache.spark._ object WordCount { def main(args: Array[String]) { args.foreach(s => println(s)) val sc = new SparkContext("local", "WordCount", System.get原创 2016-09-06 11:36:17 · 5813 阅读 · 1 评论 -
Intellij IDEA 快捷键整理
【常规】 Ctrl+Shift + Enter,语句完成“!”,否定完成,输入表达式时按 “!”键Ctrl+E,最近的文件Ctrl+Shift+E,最近更改的文件Shift+Click,可以关闭文件Ctrl+[ OR ],可以跑到大括号的开头与结尾Ctrl+F12,可以显示当前文件的结构Ctrl+F7,可以查询当前元素在当前文件中的引用,然后按 F3 可以选择Ctrl+N,可以快速打开类Ct转载 2016-10-29 15:32:30 · 223 阅读 · 0 评论 -
RDD:基于内存的集群计算容错抽象
该论文来自Berkeley实验室,英文标题为:Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译,我是基于科学网翻译基础上进行优化、修改、补充,这篇译文翻译得很不错。在此基础上,我增加了来自英文原文的图和表格数据,以及译文中缺少的未翻译的部分。如果翻转载 2016-10-08 14:28:23 · 1018 阅读 · 0 评论 -
Spark RDD使用详解1--RDD原理
版权声明:本文为博主原创文章,未经博主允许不得转载。 目录(?)[+] RDD简介 在集群背后,有一个非常重要的分布式数据架构,即弹性分布式数据集(Resilient Distributed Dataset,RDD)。RDD是Spark的最基本抽象,是对分布式内存的抽象使用,实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD是Spa转载 2016-10-08 13:39:48 · 1493 阅读 · 0 评论 -
SBT - Library Dependencies
This page assumes you've read the earlier Getting Started pages, in particular .sbt build definition, scopes, and more about settings. Library dependencies can be added in two ways: unmanage转载 2016-11-16 10:56:13 · 1419 阅读 · 0 评论 -
Spark 2.0技术预览:更容易、更快速、更智能
在过去的几个月时间里,我们一直忙于我们所爱的大数据开源软件的下一个主要版本开发工作:Apache Spark2.0。Spark 1.0已经出现了2年时间,在此期间,我们听到了赞美以及投诉。Spark 2.0的开发基于我们过去两年学到的:用户所喜爱的我们加倍投入;用户抱怨的我们努力提高。本文将总结Spark 2.0的三大主题:更容易、更快速、更智能。更深入的介绍将会在后面博客进行介绍。转载 2016-11-15 10:38:17 · 363 阅读 · 0 评论 -
spark应用中的sbt简单使用
1. sbt编译打包命令 sbt compile package原创 2016-11-13 21:17:24 · 454 阅读 · 0 评论