![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
wuhanshilyj20220219
大数据开发
展开
-
spark环境安装之单Master
spark官方网站 http://spark.apache.org/ 点击 downLoad 分别对应的是spark版本,还有 Hadoop的版本,要考虑一下兼容性的问题 在Hadoop 2.7 那一行 有 Source Code 可以下载 spark对应的源码包 1. Spark的特点 速度很快: 与 Hadoop 的 MapReduce 相比,Spark 基...原创 2019-04-18 20:47:34 · 509 阅读 · 0 评论 -
spark环境安装之HA 高可用
高可用部署说明 Spark Standalone 集群是 Master-Slaves 架构的集群模式,和大部分的 Master-Slaves 结构集群一样,存在着 Master 单点故障的问题。如何解决这个 单点故障的问题,Spark 提供了两种方案: (1)基 于 文 件 系 统 的 单 点 恢 复 (Single-Node Recovery with Local File System)。 主...原创 2019-04-18 20:57:53 · 288 阅读 · 0 评论 -
spark简单入门案例wordCount
创建idea工程 package test.Spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { //alt+上箭头 向上拉取 ...原创 2019-04-18 21:22:59 · 1955 阅读 · 1 评论 -
RDD
什么是RDD 1.RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。 RDD具有数据流模型的特点:自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将数据缓存在内存中,后续的查询能够重用这些数据,这极大地提升了查询速度。 Dataset:一个数据集合,用于存放数据...原创 2019-04-18 22:01:05 · 114 阅读 · 0 评论