spark
后打开撒打发了
有些人注定要生活在彼岸 可以亲近可以爱怜 甚至可以穷尽一生去思念 只是无法触及 有些距离 注定不能跨越 只能俩俩相望 就像有些爱只能养在心里 长在眼中 不要捧在手里 放在身边 注定只能邂逅 无法遭遇
展开
-
Scala—— Set、Map、Tuple、队列操作实战
本节主要内容mutable、immutable集合Set操作实战Map操作实战Tuple操作实战队列操作实战栈操作实战mutable、immutable集合以下内容来源于scala官方文档: http://www.scala-lang.org/docu/files/collections-api/collections.htmlScala collections s转载 2018-01-02 11:10:50 · 706 阅读 · 0 评论 -
IDEA使用Maven搭建spark开发环境(scala)
如何一步一步地在Intellij IDEA使用Maven搭建spark开发环境,并基于scala编写简单的spark中wordcount实例。1.准备工作 首先需要在你电脑上安装jdk和scala以及开发工具Intellij IDEA,本文中使用的是win7系统,环境配置如下:jdk1.7.0_15 scala2.10.4scala官网下载地址:http://www转载 2017-12-27 18:45:11 · 6097 阅读 · 2 评论 -
Spark算子:RDD行动Action操作学习–countByKey、foreach、sortBy
package chenimport org.apache.spark._object rdd_test { System.setProperty ("hadoop.home.dir", "C:\\hadoop_home\\") def main(args: Array[String]) { /* * countByKey fo原创 2017-12-28 19:39:11 · 471 阅读 · 0 评论 -
windows下使用idea maven配置spark运行环境、运行WordCount例子以及碰到的问题
# 一、安装JAVA JDK 、Maven 、scala 这些安装都比较简单都可以去官网下载最新版本的安装包一一安装就可以了。scala官网下载地址:http://www.scala-lang.org/download/ # 二、安装idea scala 插件 setting—>plugins页面点击下面的角Browse repositories… 选项搜原创 2017-12-28 17:05:50 · 3819 阅读 · 0 评论 -
Spark算子:RDD基本转换操作map、flatMap
import org.apache.spark._object rdd_test { System.setProperty("hadoop.home.dir", "C:\\hadoop_home\\") def main(args: Array[String]) { /* * Spark算子:RDD基本转换操作之 map、flatMap、原创 2017-12-29 18:11:18 · 13553 阅读 · 0 评论 -
spark学习之-----spark编程模型
1、Spark编程模型1.1 术语定义l应用程序(Application): 基于Spark的用户程序,包含了一个Driver Program 和集群中多个的Executor;l驱动程序(Driver Program):运行Application的main()函数并且创建SparkContext,通常用SparkContext代表Driver Program;l执行单元(Execu转载 2018-01-30 17:51:21 · 1997 阅读 · 1 评论 -
Spark RDD使用详解--RDD原理
RDD简介 在集群背后,有一个非常重要的分布式数据架构,即弹性分布式数据集(Resilient Distributed Dataset,RDD)。RDD是Spark的最基本抽象,是对分布式内存的抽象使用,实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD是Spark最核心的东西,它表示已被分区,不可变的并能够被并行操作的数据集合,不同的数据集格式对应不同的RDD实转载 2018-01-16 15:47:47 · 8644 阅读 · 1 评论 -
Spark资料收藏--------Spark运行架构
1、 Spark运行架构1.1 术语定义lApplication:Spark Application的概念和Hadoop MapReduce中的类似,指的是用户编写的Spark应用程序,包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码;lDriver:Spark中的Driver即运行上述Application的main()函数并且创建SparkCon转载 2018-01-31 15:40:17 · 474 阅读 · 1 评论