![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 61
Spark
abcdggggggg
喜欢的可以点赞收藏~~
展开
-
Spark 简单介绍 基本概念 和MapReduce的区别
1.概述Spark是一种快速而通用的集群计算的平台,Spark 的一个主要特点就是能够在内存中进行计算,因而更快。2.特点与Hadoop的MapReduce相比,Spark基于内存的运算要快100倍以上,基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流。Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询(Spark SQL)、实时流处理(Spark Streaming)、机器学习(...原创 2022-04-10 00:09:55 · 1231 阅读 · 0 评论 -
Spark RDD 弹性分布式数据集 简单理解
1.RDDRDD是Spark的最基本抽象,是对分布式内存的抽象使用,实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD是Spark最核心的东西,它表示已被分区,不可变的并且能够被并行操作的数据集合,不同的数据集格式对应不同的RDD实现。RDD必须是可序列化的。RDD可以cache到内存中,每次对RDD数据集的操作之后的结果,都可以存放到内存中,下一个操作可以直接从内存中输入,省去了MapReduce大量的磁盘IO操作。这对于迭代运算比较常见的机器学习算法,交互式数据挖掘来...原创 2022-04-10 00:08:07 · 489 阅读 · 0 评论 -
Spark Shuffle简介 Shuffle分区Id ShuffleWriter
转载 2022-03-25 21:10:50 · 125 阅读 · 0 评论 -
Spark 2.4.5版本 集群安装(一)
1.准备默认安装jdk1.8export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64服务器分配,2台机器:192.168.14.44 node01 -- Master Worker192.168.14.46 node02 -- Worker2.Spark下载需要下载和Hadoop对应的版本,版本一定要选择好默认是使用scala2.11版本http://spa..原创 2020-05-19 09:37:22 · 720 阅读 · 0 评论