Spark-core笔记

最新推荐文章于 2025-04-09 18:30:58 发布
原创 最新推荐文章于 2025-04-09 18:30:58 发布 · 629 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

Spark-core笔记

Spark框架简介

spark 配置

image_1citvkvnc11jk136b9hn172t1rn69.png-19.8kB 

shell启动

image_1cj0md5av1sna1a9l1f08aftr3g34.png-22.1kB
image_1citvt0gfdh517gk1efbk3nk272d.png-24.7kB

local[2] 启动模式
image_1citvvhbhikd1c7m1a53vp6up72q.png-1.9kB

spark分类

image_1citvpg3t1rmq111gt641q4m54j13.png-258.8kB

简介

image_1citvie811grd4dq1btf18k0ql9.png-31kB
image_1citvj1i8db124i16pgel06rim.png-35.5kB

spark运行模式

image_1citvmlovt69teo1kng1afom86m.png-12.9kB

spark shell

image_1citvq6ab14roslctjqovo1p971g.png-122.6kB

结构图、运行模式解析

image_1cj0n8qsn1e2b1v4o14jh60c1hbh9k.png-428.7kB

image_1cj0ncm42iuf183iceno46aqaa1.png-137.9kB
image_1cj0mv7di1vbsnmn5kdm5d1d7n7j.png-190.4kB
image_1cj0n0kbq6np1chk61h1v0k5dd80.png-273.3kB
image_1cj0n1fvdb4u1n7ttb91b2nfgt8d.png-258.9kB
image_1cj0n362kv9f1g1ok7e3p61v4n8q.png-256.2kB

RDD

五大特点

image_1cj0n5hau1c1ke3g44qjdjmbr97.png-175.5kB

image_1cj0m4a4v1hm0k837j62gu15a19.png-40kB
image_1cj0m4ss01lan7i1jldoo5qbfm.png-14.1kB
image_1cj0m6h8pqt1rqf1dab1s3t1v0313.png-24.4kB
image_1cj0m74kkqj75qu8gnf5u5o51g.png-23.9kB
image_1cj0m7n9tee6bmj1o4e192i12rg1t.png-20.5kB
image_1cj0m84ng1pjq1m5a6n2155ofjl2a.png-29.8kB

运行模式与配置

image_1cj0m9h1l17g21ipaefhif1l4v2n.png-31.9kB

Spark程序

提交程序

image_1cj0mi4n143d1ng81oj1jph1aqm3h.png-9.2kB

自定义目录和 运行模式

image_1cj0mivetfbf1g3h1rf1e0d1p873u.png-9.3kB

运行在yarn上 并设置内存 线程

image_1cj0mk4jeodgddrkpq1bdj1shs4b.png-13.1kB

Spark开发模板

image_1ciu07dcffemccmornl661b3g37.png-64.4kB
image_1ciu080n8f4v2am1ngg1jbgqd544.png-34.4kB

WordCount 程序

image_1ciu09m3i1q9pc991n1ls5p12414h.png-69.1kB
image_1ciu0a2rk1mu33qh1tq31mrd18aa4u.png-64kB
image_1ciu0aji0l05a1he41m6kmbv5b.png-51.4kB
image_1ciu0atqa11k9uqkoc8106bejt5o.png-25kB

数据结果导入MySQL

image_1ciu0f151slh2qg1mvd15r011u065.png-54.2kB
image_1ciu0fjqv1btscg81nu8b11edv6i.png-68.4kB
image_1ciu0g0jd14sr7apoa8118250d6v.png-55.3kB
image_1ciu0g8671qr5dn1mrhft777a7c.png-22kB

分组、排序和TopKey

image_1cj0mlqeq18er1ta91jii17941n584o.png-66.2kB
image_1cj0mmik5h1icq41cfqafk1rue55.png-43.6kB
image_1cj0mn10k6p81bph1unk1f89eqm5i.png-40.4kB
image_1cj0mn6sn1vtq53ieqnjo213pe5v.png-9.7kB

分组排序、TopKey 并且改进map和局部聚合

image_1cj0mq9b01l3kpp41aio194t7m16c.png-68.5kB
image_1cj0mqhc97ib1bqmadn9mv1eab6p.png-45kB
image_1cj0mqv3u13c61cefriec6t12qf76.png-69.4kB

冥王_Hades
关注
大数据技术之(一) Spark-Core
痞子磊的博客
07-07 1304
第1章 Spark 概述 1.Spark是什么 Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 2.Spark and Hadoop 在之前的学习中，Hadoop 的 MapReduce 是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架 Spark 呢，这里就不得不提到Spark 和Hadoop 的关系。 首先从时间节点上来看: Hadoop 2006 年 1 月，Doug Cutting 加入Yahoo，领导Hadoop 的开发 2008 年 ..
Pyspark学习笔记（二）--- spark部署及spark-submit命令简介
朝花&夕拾
03-17 2751
Pyspark学习笔记（二）--- spark-submit命令 非交互式应用程序，通过spark-submit命令提交任务,官方讲解如下链接所示 http://spark.apache.org/docs/latest/submitting-applications.html#submitting-applications, spark-submit脚本位于spark安装目录下的bin文件夹内，该命令利用可重用的模块形式编写脚本， 以编程方式提交任务到Spark上去，并可以支持.......
spark-core_2.11-1.6.0.jar
05-24
spark-core_2.11-1.6.0.jar spark-core_2.11-1.6.0.jar
Spark Core
涵死的博客
11-29 1195
一 RDD概念 1 RDD为什么会产生 2 RDD概述 21 什么是RDD 22 RDD的属性 3 13 RDD弹性 4 RDD特点 41 分区 42 只读 43 依赖 44 缓存 45 checkpoint 二 RDD编程 1 编程模型 2 22 创建RDD一、 RDD概念1.1 RDD为什么会产生RDD是Spark的基石，是实现Spark数据处理的核
SparkCore
weixin_42263032的博客
01-10 3678
一、SparkCore spark架构 二、SparkSQL 三、SparkStreaming
sparkcore
qq_43827516的博客
11-11 417
第1章 Spark概述 1.4 Spark or Hadoop Hadoop的MR框架和Spark框架都是数据处理框架，那么我们在使用时如何选择呢？ Hadoop MapReduce由于其设计初衷并不是为了满足循环迭代式数据流处理，因此在多并行运行的数据可复用场景（如：机器学习、图挖掘算法、交互式数据挖掘算法）中存在诸多计算效率等问题。所以Spark应运而生，Spark就是在传统的MapReduce 计算框架的基础上，利用其计算过程的优化，从而大大加快了数据分析、挖掘的运行和读写速度，并将计算单元缩小到更
Spark-Core学习知识笔记整理
03-01
Spark-Core文档是本人经三年总结笔记汇总而来，对于自我学习Spark核心基础知识非常方便，资料中例举完善，内容丰富。具体目录如下： 目录 第一章 Spark简介与计算模型 3 1 What is Spark 3 2 Spark简介 3 3 Spark...
spark-seeedstudio-epaper:移植到 spark-core 的 seeed-studio 电子纸库
06-18
移植到 spark-core 的 seeed-studio 电子纸库。 Spark 的 SD。 使用 Spark Dev 编译下载并打开 spark dev 中的“spark_dev_work”文件夹并编译。 笔记！ 此代码仅在 adafruit 的 repaper 开发板上进行了测试。 ...
Spark-SourceCode-Analysis:Apache Spark笔记本-spark source code
03-24
Spark-SourceCode分析 Apache Spark笔记本作者：祁传宏军 Spark简介 Spark起源自科研院所，加州大学伯克利分校UC Berkeley的AMP实验室。该校在edx上开设了系列课程:)“使用Spark XSeries...而Spark的核心Spark Core在内
Spark Core------算子介绍
qq_50215015的博客
01-08 1358
RDD:英文全称Resilient Distributed Dataset，叫做，是Spark中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集合。
Spark介绍-Spark Core(1)
qq_33431394的博客
10-22 3220
Spark Core 全阶段目标 理解 Spark 的特点和作用 能够完成 Spark 的集群搭建和安装 通过入门案例理解 Spark 的编程模型 RDD 了解 RDD 的常见使用 1. Spark 概述 目标 Spark 是什么 Spark 的特点 Spark 生态圈的组成 1.1. Spark是什么 目标 了解 Spark 的历史和产生原因, 从而浅显的理解 Spark 的作用 Spark的历史 2009 年由加州大学伯克利分校 AMPLab 开创2010 年通过BSD许可协议开源发布2
Spark-Core
热门推荐
lydms的博客
10-24 1万+
一、RDD 编程 二、累加器 三、广播变量
大数据技术之SparkCore
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
12-23 3582
Spark Core是spark的核心与基础，实现了Spark的基本功能，包含任务调度，内存管理，错误恢复与存储系统交互等模块 Spark Core中包含了对Spark核心API——RDD API(弹性分布式数据集)的定义：RDD表示分布在多个计算节点上可以并行操作的元素集合，是spark的核心抽象。
Spark-core（核心）的基本介绍
weixin_34258078的博客
08-29 1270
一、Spark Core提供Spark最基础与最核心的功能，主要包括以下功能： (1)SparkContext： 通常而言，Driver Application的执行与输出都是通过SparkContext来完成的。在正式提交Application之前，首先需要初始化SparkContext。SparkContext隐藏了网络通信、分布式部署、消息通信、存储能力、计算能力、缓存、测量系统、文件服务、...
Spark core
最新发布
2401_85482551的博客
04-09 929
1.RDD 特性与核心属性：RDD 是 Spark 中基本的数据处理模型，具有弹性（存储、容错、计算、分片方面）、分布式、数据集、数据抽象、不可变、可分区并行计算等特性。其核心属性包括分区列表用于并行计算、分区计算函数对每个分区进行计算、RDD 之间的依赖关系用于组合计算模型、分区器（可选，用于 K - V 类型数据分区）和首选位置（可选，根据节点状态选择计算位置）。2.核心概念：Executor 是工作节点的 JVM 进程，利用 Core 计算，可配置数量、内存和 CPU 核数。
Spark（二）Spark Core
ks_1998的博客
05-01 1124
Spark（二）Spark Core
spark-core源码学习记录 2 应用提交submit 及driver注册流程，以javawordcount为例
04-11
当你提交Spark Core源码学习笔记的时候，并注册Driver的流程，以Java的WordCount为例。 首先，编写提交Job的代码： ```java import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; public class WordCount { public static void main(String[] args) { SparkConf conf = new SparkConf().setAppName("WordCount"); JavaSparkContext sc = new JavaSparkContext(conf); JavaRDD<String> lines = sc.textFile(args[0]); JavaRDD<String> words = lines.flatMap(line -> Arrays.asList(line.split(" ")).iterator()); JavaPairRDD<String, Integer> pairs = words.mapToPair(word -> new Tuple2<>(word, 1)); JavaPairRDD<String, Integer> counts = pairs.reduceByKey((a, b) -> a + b); counts.saveAsTextFile(args[1]); } } ``` 之后就是提交任务和注册Driver： ```java import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.SparkContext; public class WordCount { public static void main(String[] args) { SparkConf conf = new SparkConf().setAppName("WordCount"); JavaSparkContext sc = new JavaSparkContext(conf); SparkContext spark = SparkContext.getOrCreate(conf); spark.addSparkListener(new MySparkListener()); JavaRDD<String> lines = sc.textFile(args[0]); JavaRDD<String> words = lines.flatMap(line -> Arrays.asList(line.split(" ")).iterator()); JavaPairRDD<String, Integer> pairs = words.mapToPair(word -> new Tuple2<>(word, 1)); JavaPairRDD<String, Integer> counts = pairs.reduceByKey((a, b) -> a + b); counts.saveAsTextFile(args[1]); } } class MySparkListener extends SparkListener { public void onApplicationStart(SparkListenerApplicationStart applicationStart) { String appName = applicationStart.appName(); System.out.println("Application started: " + appName); } public void onApplicationEnd(SparkListenerApplicationEnd applicationEnd) { long time = applicationEnd.time(); System.out.println("Application ended: " + time); } } ``` 这个代码会在提交任务的时候，自动注册Driver，并且添加了自定义的Listener。注意，在提交任务前，需要先启动Spark集群，并将提交路径和结果路径传递给代码的args数组。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值