![](https://img-blog.csdnimg.cn/20190918140145169.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark系统学习知识
无
斗罗昊天锤
无所谓
展开
-
第三章、Spark核心编程 — 使用Java、Scala开发WordCount程序
一、开发WordCount程序 Java示例代码 package com.lj.sparkcore; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.a...原创 2020-05-06 13:34:55 · 210 阅读 · 0 评论 -
第一章、Spark的前世今生
1、Spark是什么? Spark是一种通用的大数据计算框架,正如传统大数据技术Hadoop的MapReduce、Hive引擎以及Storm流式实时计算引擎等。 Spark包含了大数据领域常见的各种计算框架:比如Spark Core用于离线计算,Spark SQL用于交互式查询,Spark Streaming用于实时流式计算,Spark MLlib用于机器学习,Spark GraphX用于图...原创 2020-04-24 19:39:12 · 211 阅读 · 0 评论 -
第二章、Spark核心编程 — Spark基本工作原理与RDD
一、Spark基本工作原理 分布式 主要基于内存(少数情况基于磁盘) 迭代式计算 画图详解Spark的工作原理,如下: 二、RDD以及其特点 RDD是Spark提供的核心抽象,全称为Resillient Distributed Dataset,即弹性分布式数据集。 RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为多个分区,每个分区分布在集群中的不同节点上,从而让RDD中的数...原创 2020-04-24 19:59:17 · 306 阅读 · 0 评论