![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 82
DataDamon
苟日新,日日新,又日新!
展开
-
Spark入门——6 SparkStreaming
SparkStreaming整体架构图: 一 SparkStreaming快速入门: 1,建立StreamingContext:(scc=new StreamingContext(mastername,appname,batchDuration,[sparkhome],[jars])) 2,创建InputDStream:(kafkaStream,fl原创 2015-06-16 00:10:29 · 1198 阅读 · 0 评论 -
Spark入门——5 SparkSQL
SparkSQL是在Spark1.0版本才加入原创 2015-06-14 13:34:15 · 879 阅读 · 0 评论 -
Spark入门——1:RDD及编程接口
RDD是Spark的核心,也是整个Spark的架构基础。spark与mapreduce相比,前者提供了更加丰富的编程接口给程序猿们。所以下面主要说明RDD的基本概念,以及其重要接口。 RDD包含4大操作: 1,创建操作:RDD的创建有两个途径。一个是来之外部存储系统(例如:HDFS,S3)或者内部集合,另外一个是来自其他RDD的转换操作(例如m原创 2015-05-10 21:55:47 · 2044 阅读 · 0 评论 -
Spark入门——2:spark运行模式及原理
一:spark的运行模式 spark的运行模式有多种。当部署在单机上的时候,可以用本地模式(local),或者伪分布式模式;当以分布式集群的方式部署时,也有多种运行模式: 1,spark内建的Standalone模式:Spark:hostname:port 2,本地模式,使用N核:Local[N] 3,伪分布式:Local cluster原创 2015-05-29 00:33:00 · 903 阅读 · 0 评论 -
Spark入门——3:Spark的任务调度
Spark的核心就是其调度管理逻辑。原创 2015-05-31 00:37:07 · 2379 阅读 · 0 评论 -
Spark入门——4: Spark的存储管理模块
我们在运用Spark的时候,基本都是在于RDD打交道,实际上处理数据都是通过RDD提供的接口来操作。然而我们底层的数据到底是如何管理的呢?这正是今天我要学习的内容。 1,存储模块框架: 架构上讲,分为通信层和存储层。 1)通信层面采用主从方式实现通信(主从节点间互换消息); 2)存储层负责提供接口来存储数据(可把数据存储到内存,磁原创 2015-06-03 21:51:48 · 1858 阅读 · 0 评论