Spark笔记之简介

最新推荐文章于 2024-06-12 10:28:17 发布
最新推荐文章于 2024-06-12 10:28:17 发布
阅读量206 收藏
点赞数
分类专栏： spark 大数据 scala 文章标签： spark apache spark scala python 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaohu21/article/details/108629549
版权
本文介绍了Spark的背景、特点及与MapReduce的对比，强调Spark的高性能、易用性和广泛的语言支持。Spark支持SQL、Streaming、MLib、Graph计算，且能运行在多种资源调度平台上，是大数据处理的主流框架。
摘要由CSDN通过智能技术生成

Spark笔记之简介

1. 背景

  1. 作为目前大数据处理领域主流处理引擎的spark，从2016年开始在国内快速进入企业生产实践，到现在2020年已经有四年。版本也更新到了现在的3.0.1。实际企业使用为了稳定性，旧的项目一般都还在2.x版本，特别是2.4.x版本。
  2. http://spark.apache.org/
    在这里插入图片描述
  3. 下载https://archive.apache.org/dist/spark/
    在这里插入图片描述
    在这里插入图片描述

2. Spark简介

2.1 Spark是什么

  1. spark是一个 大数据分析引擎，快速上手，通用性解决方案
  2. spark是2009年诞生于美国加州大学伯克利分校AMPLab实验室，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。
  3. 2014年5月发布1.0版本，2016年7月发布2.0版本，2020年
最低0.47元/天 解锁文章
闻香识代码
关注
专栏目录
MapReduce流程简要概括
xiaohu21的博客
08-19 3486
MapReduce流程简要概括 1.分布式计算 分布式计算 很重要的思想就是，一个问题拆分为多个步骤和多份数据，然后很多台计算机一起处理，最后对这些数据处理结果汇总聚合就是最终结果。 我们的程序就是数据加逻辑/算法（代码），而要让多台电脑能够一起参与到问题解决中来，首先需要把数据和代码进行分割，这样让每台计算机都能参与计算与处理。 在这个过程中，如何保证各个计算机分到的数据和任务都是相对均衡跟适合的就很考验程序机制了。例如集群中有高配电脑和低配电脑，如何协调，让高配电脑和低配电脑都能分配到适合自己硬件配置
spark笔记之DataSet
qq_40208605的博客
09-05 446
4.1.  什么是DataSet DataSet是分布式的数据集合，Dataset提供了强类型支持，也是在RDD的每行数据加了类型约束。DataSet是在Spark1.6中添加的新的接口。它集中了RDD的优点（强类型和可以用强大lambda函数）以及使用了Spark SQL优化的执行引擎。DataSet可以通过JVM的对象进行构建，可以用函数式的转换（map/flatmap/filter）进行多...
mapreduce执行工作原理流程
baidu_39290372的博客
06-26 227
InputFormat 类来处理数据选择将数据切分为 Key-Value (K1和V1)键值对，k1=文件的磁盘地址，value=每行的数据由实现map方法来定义,自定义Map逻辑，将第一步的结果转换成另外的 Key-Value (K2和V2)键值对指定输出...
spark笔记
小小晓晓阳的博客
03-29 969
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎；Spark提供内存计算，将计算结果直接放在内存中，减少了迭代计算的IO开销，有更高效的运算效率。1.1 Spark核心模块1.2 基本概念：弹性分布式数据集的简称，分布式内存的一个抽象概念，提供了一种高度受限的共享内存模(可以看作一个不可变的分布式对象集合)：有向无环图的简称，反映RDD之间的依赖关系：是运行在工作节点（WorkerNode）的一个进程，负责运行Task：用户编写的Spark应用程序：运行在Executor上的工作单元。
spark笔记之Spark SQL
qq_40208605的博客
09-03 1341
1． Spark SQL概述1.1． Spark SQL的前世今生             Shark是一个为Spark设计的大规模数据仓库系统，它与Hive兼容。Shark建立在Hive的代码基础上，并通过将Hive的部分物理执行计划交换出来。这个方法使得Shark的用户可以加速Hive的查询，但是Shark继承了Hive的大且复杂的代码使得Shark很难优化和维护，同时Shark依赖于Spa...
Spark基础笔记之启动命令顺序
ichterry的专栏
05-23 388
Spark基础操作笔记之启动命令，日常记录
大数据开发之Spark笔记
bigdata
12-30 539
在Spark中创建RDD的创建方式可以分为三种：从集合中创建RDD、从外部存储创建RDD、从其他RDD创建。
spark笔记之DStream
qq_40208605的博客
09-12 501
3.1 什么是DStream Discretized Stream是Spark Streaming的基础抽象，代表持续性的数据流和经过各种Spark算子操作后的结果数据流。在内部实现上，DStream是一系列连续的RDD来表示。每个RDD含有一段时间间隔内的数据，如下图： 对数据的操作也是按照RDD为单位来进行的 Spark Streaming使用数据源产生的数据流创建DStream...
Spark笔记-06
最新发布
shadown7z的博客
06-12 323
Spark笔记-06
Spark学习笔记一
qq_48238787的博客
11-30 982
1 基于Standalone 模式部署Spark集群 local 本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，这里我们来看看只使用 Spark 自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。Spark 的 Standalone 模式体现了经典的 master-slave 模式。 集群规划。 1.1 上传与解压Spark压缩包 将spark安装包上传至虚拟机中的指定路径上 解压缩文件 tar -zxvf spark-3.0.0-b
spark笔记整理文档
01-18
本篇笔记将深入探讨Spark的核心概念、架构设计以及实际应用，旨在帮助读者全面理解并掌握Spark。 1. Spark概述： Spark最初由加州大学伯克利分校AMPLab开发，其设计理念是提供一个快速、通用且可扩展的大数据处理...
Python学习笔记——大数据之Spark简介与环境搭建
01-27
Spark是Apache顶级项目里面最火的大数据处理的计算引擎，它目前是负责大数据计算的工作。包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等。 核心组件如下： ...Core之上的。 SparkSQL：提
spark笔记.zip
04-23
"Spark笔记"可能涵盖了以下几个关键知识点： 1. Spark架构：Spark采用Master-Worker模式，Master节点管理任务调度，Worker节点运行任务。Spark的核心组件包括Driver、Executor和Cluster Manager。Driver负责解析并...
Maven依赖冲突解决之exclusions
xiaohu21的博客
09-16 8406
Maven依赖冲突解决之exclusions 1. 背景 作为java生态下开发者，往往需要使用大量线程的第三方库，一般都是以jar包形式存在。 maven作为事实上主流的jar包依赖管理工具，Idea和Eclipse都支持创建maven工程来管理jar包依赖。 使用maven进行jar包依赖管理时，maven会自行管理jar包及其依赖链条，但往往会遇到依赖冲突问题，这时候就可以尝试使用exclusion来进行依赖管理。 2. 解决方式 场景 假如hadoop集群中hadoop版本是3.2.1，这
Scala安装教程（windows和linux）
xiaohu21的博客
09-04 6150
Scala安装教程 1. 背景 作为一门编程语言，scala本身和java有很深渊源，而且基于java做了更多扩展，并且scala一些语法特性是作为很多现代化编程语言的参考目标。如函数式编程、完全的面向对象语法设计等等 官网 https://www.scala-lang.org/ scala最新版本，2.13.0 本文将使用的版本2.12.12 https://www.scala-lang.org/download/2.12.12.html 2. windows安装步骤 下载win
Maven 打包忽略依赖＜scope＞＜/scope＞
xiaohu21的博客
09-16 5943
Maven 打包忽略依赖jar包之 1. 背景 作为事实上主流的jar包管理工具，有时候需要考虑工程打包是否包含所依赖jar包，这样可以缩减打出来的bar大小 实际maven打包，如果在pom文件中配置了打包插件，就会打出2个jar包，一个是包含依赖的jar包，一个是不包含依赖的jar包。 不包含依赖的jar包，体积会小很多，只包含编写的逻辑代码，但要求这个jar包运行环境中必须有这些依赖jar包。 包含依赖的jar包，只要有jre 运行环境，就可以运行，因为已经把所依赖的jar包都打进去了，对外部没有依
Spark SQL中Sparksession中的implicits探秘
xiaohu21的博客
10-06 3843
Spark SQL中Sparksession中的implicits对象 1. 背景 在Spark SQL中，经常会需要如下代码 import sparkSession.implicits._ 这是为了引入对象实例中的隐式转换 2. 探秘 源码 SQLImplicits 从上述源码可以看出，dataframe其实就是dataset的特殊形式 ...
Spark SQL的自定义函数UDF
xiaohu21的博客
10-06 3607
Spark SQL的自定义函数UDF 1. 背景 在SQL使用时，会有内置函数，但如果业务比较复杂，但又希望可以有更加灵活的函数使用和复用，则需要自定义 UDF，就是user defined function，可以分为UDTF、UDAF UDTF，user defined table-generating function，就是将数据打散 UDAF，user defined aggregating function，就是将数据聚合。 2. 创建和使用UDF 下述会使用案例来展示如何使用自定义函数 2.1
Spark SQL之dataframe数据保存
xiaohu21的博客
10-05 2548
Spark SQL之dataframe数据保存 1. 背景 Spark SQL作为处理结构化数据的功能模块，本身支持SQL形式使用功能，内部也做了相对RDD更加高的抽象 DataFrame也是一个抽象数据集合，但对比RDD多了schema数据结构化信息，可以将DataFrame看成是RDD+schema信息 2. dataframe数据保存类型 环境准备 Idea2020 jdk 1.8 scala 2.12.12 maven 3.6.3 pom文件 <!-- 定义了一些常量 -->
Scala编程入门：Spark学习笔记
"Spark学习笔记，这是一份详细记录Spark学习的笔记，包含了实践代码和解释，适合初学者。笔记中还涉及了与Spark密切相关的Scala编程语言的介绍，包括Scala的基本概念、学习Scala的原因以及简单的Scala编程示例，如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值