spark
mingWar
这个作者很懒,什么都没留下…
展开
-
spark配置安装
1 本文是在hadoop正确安装的前提的条件上进行的 Hadoop安装请参考:hadoop的安装和配置.docx(http://blog.csdn.net/tian_li/article/details/49103603)2 下载程序包http://spark.apache.org/downloads.html我们使用的是:spark-1.5.1-bin-hadoop2.6.tgz3 安装s...转载 2018-03-02 16:05:34 · 335 阅读 · 0 评论 -
RDD之flatMap与Map对比
定义首先我们列出flatMap与Map的定义,可参考RDD APIdef map[U](f: (T) ⇒ U)(implicit arg0: ClassTag[U]): RDD[U] Return a new RDD by applying a function to all elements of this RDD.def flatMap[U](f: (T) ⇒ TraversableOnce[...转载 2018-03-21 17:29:09 · 4602 阅读 · 0 评论