Spack基础

最新推荐文章于 2023-10-28 10:54:59 发布
最新推荐文章于 2023-10-28 10:54:59 发布
阅读量3.3k 收藏 1
点赞数
分类专栏： 基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45116848/article/details/103728037
版权

Spark

1.简介

  • Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。
  • Spark拥有Hadoop MapReduce所具有的优点,但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，
  • 因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法

2.RDD

  • 弹性分布式数据集
  • RDD的五大特性
    • RDD是由一系列的partition组成
    • 函数是作用在partition上
    • DRR之间存在一系列依赖
    • 分区器是作用在K,V格式的RDD上
    • RDD提供一系列最佳的计算位置
  • RDD理解图

在这里插入图片描述

  • 注意要点
    • textfile方法底层封装的是MR方法,读取文件前先sqilt,默认sqilt是一个block大小
    • 什么是k,v格式的RDD
      • RDD里面存储的数据都是k,v数据,那么计算K.V格式的RDD
    • 哪里体现了RDD的容错
      • partition的数量,大小是没有限制的,可以人为设置
      • RDD之间存在依赖关系.可以基于上一个RDD计算出下一个
    • 哪里体现了RDD的分布式
      • RDD是由partition组成,每一个partition分布在不同节点上
    • RDD提供了最佳的计算位置,体现了数据本地化.
  • 每一个进行RDD计算都可以看做是一种优化

在这里插入图片描述

  • spack任务的执行原理图

最低0.47元/天 解锁文章
vitorl_Ch
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spack 一个灵活的软件包管理器，支持多个版本，配置，平台和编译器。-python
06-18
Spack是一个多平台的软件包管理器，可构建和安装软件的多个版本和配置。 它可以在Linux，macOS和许多超级计算机上运行。 Spack Spack 是一个多平台的包管理器，可以构建和安装多个版本和配置的软件。 它适用于 Linux、macOS 和许多超级计算机。 Spack 是非破坏性的：安装一个包的新版本不会破坏现有的安装，因此同一个包的许多配置可以共存。 Spack 提供了一个简单的“规范”语法，允许用户指定版本和配置选项。 包文件是用纯 Python 编写的，规范允许包作者为同一包的许多不同构建编写单个脚本。 使用 Spack，您可以按照自己的意愿构建软件。 有关示例和亮点，请参阅功能概述。 要安装 spack 和你的第一个包，请确保你有 Python。 然后： $ git clone https://github.com/spack/spack.git $ cd spack/bin $ ./spack install zlib 文档 完整文档可用，或运行 spack help 或 spack help --all。 教程 我们维护一个动手教程。 它涵
DB2数据库基础
07-11
DB2创建了系统编目表空间SYSCATSPACE、系统临时表空间TEMPSPACE1、用户表空间USERSPACE1、日志文件、配置文件、历史文件等。 创建数据库示例包括CREATE DATABASE mydb、CATALOG TABLESPACE MANAGED BY DATABASE ...
【Spark】入门基础介绍
a6458360的博客
07-31 303
文章目录 一、什么是Spark 二、为什么要学Spark 三、Spark的四大特性 1、高效性 2、易用性 3、通用性 4、兼容性 四、Spark的组成 五、应用场景 一、什么是Spark 官网地址：http://spark.apache.org/ Apache Spark™是用于大规模数据处理的统一分析引擎。 从右侧最后一条新闻看，Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框
Spack学习2
weixin_30785593的博客
05-29 413
https://blog.csdn.net/qq_32023541/article/details/79127882让我们对kafka有个一初步的了解。其实吧，我们知道，数据可以从某个角度分成两类，第一类是批量数据，也就是已经放好的数据，打个比方，就像池塘的水，不会流动，你想怎么计算就怎么计算，你可以统计一下水量，也可以将它们做别的用途，但水就那么多放在那里，你可以把它放在任何一个水库慢慢用。另一...
webpack初学者指南(Beginner’s guide to Webpack)
phpzealer的专栏
03-31 1531
Beginner’s guide to Webpack Or what I wish I knew when starting with Wepback. “webpack初学者指南 或者说当我开始学习webpack的时候,我想了解的” 本文翻译自Nader Dabit的文章,原文地址 https://medium.com/@dabit3/beginner-s-guide-
Spack - 自动化安装管理器
IT架构师
06-24 2918
Spack能使得上述步骤自动化，并自动生成modulefile（Environment Modules或Lmod的，都可以生成）——无论是对于广泛使用的开源包，还是有知识产权保护的有限范围分发包，还是处于研发阶段的内部包，它都能轻松搞定。
SPACE 入门.pdf
03-20
【SPACE入门】这篇文档主要介绍了dSPACE开发平台的入门知识，包括dSPACE的开发流程、软件组件和硬件组件，以及产品的安装步骤。dSPACE是一个专为控制系统的快速原型、硬件在回路(HIL)仿真和标定而设计的集成开发环境...
MES系统基础介绍.pptx
08-05
MES 系统基础介绍 MES 系统是 Manufacturing Execution System 的缩写，指的是制造执行系统。它是一种集成了制造执行、生产管理、质量控制、物流管理等功能的信息系统。MES 系统的主要目的是为了提高制造企业的生产...
linux 基础
06-01
在`less`查看模式下，按`Space`键向下翻页，`b`键向上翻页，`/`键搜索内容，`q`键退出查看。 这些基本操作构成了Linux系统管理和网络配置的基础，对于日常维护和问题排查至关重要。熟悉并掌握这些知识，将极大地...
数字信号处理基础
03-30
信号处理的基础教程，对信号处理中的各种基础知识做了很好的讲解，虽然是英文的，但还是很好懂得。
spack_python_package_parser:爬取PyPI索引API的简单脚本，用于通过`spack`安装的Python软件包的下载信息
05-04
这是什么 用于抓取PyPI索引API的简单脚本，以获取Python软件包的下载信息 打包tar.gz url md5校验和对象 打包内容的一行摘要 套餐首页 版本信息 用法示例 grep单个软件包的下载信息 $ ./crawl_pypi_index.py ipython@4.0.0 < PATH> Detected single package name is supplied. Querying http://pypi.python.org/pypi/ipython/4.0.0/json Package download link is https://pypi.python.org/packages/source/i/ipython/ipython-4.0.0.tar.gz md5 checksum is: c2fecbcf1c0fbdc826
数据库基础
09-22
§2.5.7 SPACE(列间空格) 84 §2.5.8 Termout (启/停屏幕显示) 84 §2.5.9 ECHO (启/停命令显示) 84 §2.5.10 TRANSACTION (启动事务) 85 §2.5.11 SHOW ALL(列出所有参数) 85 §2.6 格式化输出 87 §2.6.1 一般数据...
pythonstudy_space：Python基础学习
02-14
pythonstudy_space：Python基础学习
计算机文化基础-试题-含答案.pdf
02-06
10. **中英文标点切换**：在“中文输入法”状态下，通常使用Shift+Space键进行中英文标点符号的切换。 11. **网络黑客**：黑客指的是非授权侵入他人计算机系统或网络的用户。 12. **中国“三金”工程**：金桥、...
学习CSS需要知道的CSS基础知识
09-25
在深入学习CSS的基础知识之前，首先要理解CSS（Cascading Style Sheets）的作用，它是用于描述HTML或XML（包括如SVG、MathML等各种XML方言）文档样式的样式表语言。通过CSS，我们可以控制网页的视觉呈现，包括字体、...
Spack学习笔记
weixin_30597269的博客
05-29 1004
一。spark 是一个快速且通用的集群计算平台基于内存的运算通用性；降低维护成本Spack的设计容纳了其它分布式系统拥有的功能批处理，迭代式计算，交互查询和流处理等spark是高度开放的；Python Java scala haddoop二。spark core: 包含spark的基本功能，任务调度，内存管理，容错机制 内部定义了RDDs，弹性分布式数据集spark sql: 是...
python开发多平台app_Spack 一个灵活的软件包管理器，支持多个版本，配置，平台和编译器。...
weixin_39975261的博客
11-29 261
Spack Spack is a multi-platform package manager that builds and installs multiple versions and configurations of software. It works on Linux, macOS, and many supercomputers. Spack is non-destr...
Spack：软件包管理的终极解决方案 以 unzip 无sudo权限安装为例
pprp的博客
09-02 657
Spack 是一个高度可配置的软件包管理工具，旨在支持各种软件栈的安装和管理。尽管最初是为高性能计算设计的，但 Spack 的灵活性和扩展性使其也能在多种计算环境中派上用场，包括个人电脑和云基础设施。
spack使用
最新发布
badWriter的博客
10-28 272
docker run -i -t -d -u root --privileged --name spack spack/ubuntu-jammy #创建容器。docker exec -i -t 988 /bin/bash #进入容器。docker pull spack/ubuntu-jammy #拉取镜像。spack repo list #查看脚本源。spack find #查看安装软件。
Configuration-Space
08-24
- *2* [PCIe Configuration Space基础知识学习](https://blog.csdn.net/weixin_37160065/article/details/120899923)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值