spark学习
文章平均质量分 75
一问一答
这个作者很懒,什么都没留下…
展开
-
spark入门实战windows本地测试程序
在做Spark开发时,一般会在windows下进行Spark本地模式程序调试,在本地调试好了再打包运行在Spark集群上。因此需要在windows上进行Spark开发配置。本文将给出三种开发工具的配置:1、使用eclipse java api开发;2、使用scala IDE开发;3、使用IntelliJ IDEA 开发。1、windows下环境在安装开发软件之前,首先需要安装JAVA 和S原创 2016-06-16 10:42:57 · 9886 阅读 · 0 评论 -
RDD工作机制实例详解
RDD工作机制RDD指的是一个只读的,可分区的分布式数据集,这个数据集的全部或部分可以缓存在内存中,在多次计算间重用,是Spark进行大数据处理计算的核心,在设计算法的时候,就是在设计RDD的操作,那么下面通过WordCount实例来详细介绍RDD的工作机制。关于RDD的特性和理论请参考“Spark 入门文档”。1、在介绍RDD工作原理之前再回顾一下WordCount的例子: 第一原创 2016-06-16 10:53:28 · 1655 阅读 · 0 评论