Apache spark 2.4.3官方文档翻译之 spark overview

最新推荐文章于 2022-05-12 11:31:20 发布
最新推荐文章于 2022-05-12 11:31:20 发布
阅读量590 收藏 1
点赞数
分类专栏： spark 文章标签： spark overview
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pure95214/article/details/93072313
版权

Apache spark 2.4.3官方文档翻译之 spark overview

原文地址 ：http://spark.apache.org/docs/latest/
水平有限，欢迎提出任何建议，一起学spark！

Apache spark是一个快速通用的集群计算系统。它为多种语言提供API，包括Java, Scala, Python和R，及优化了的图像处理引擎。它拥有一系列高级工具，如针对SQL语言和结构化数据处理的spark SQL，针对机器学习的MLlib，针对图像处理的GraphX，以及处理流计算的Spark Streaming

安全性

在spark中安全保护默认关闭，即在默认状态下易受到攻击。请在下载和使用前查看Spark Security。

下载

从项目网站的downloads page页即可直接获取Spark。本文档适用于spark 2.4.3 。Spark要依赖Hadoop用在HDFS和YARN的客户端lib库，所以下载文件里含有主流版本的Hadoop。用户也可以下载不含hadoop的Spark，然后加入classpath指向任何自行安装的Hadoop版本。Scala和Java用户可以用Maven来管理Spark，Python用户未来将可以从PyPI库中安装Spark。

也可访问Building Spark安装。

Spark可以用在Windows和UNIX（如Linux，MacOS）系统中，需要把java装在系统路径下，或者JAVA_HOME环境变量指向安装包路径。

Spark适用于Java 8以上、 Python 2.7以上/3.4以上、R 3.1以上版本。对于Scala API, Spark 2.4.3使用Scala 2.12，注意要用可兼容的Scala版本(2.12.x).

Spark对Java 7、Python 2.6和Hadoop 2.6.5以下版本的支持止于2.2.0，对于Scala 2.10的支持止于2.3.0，Scala 2.11将在Spark 2.4.1被弃用（deprecated）并将在Spark 3.0.版本中移除（remove）。

示例

Spark有很多示例代码，Scala, Java, Python和R的示例在examples/src/main路径下。如要跑Java或Scala示例程序,在顶层目录中执行bin/run-example <class> [params]（此项援引通用spark-submit脚本）。 例如，

./bin/run-example SparkPi 10

你也可以交互式地用Scala shell，更好地了解框架

./bin/spark-shell --master local[2]

--master指令可用来指定Spark集群地址，local表示单线程，local[N]表示N线程，开始可先使用local测试。在shell里使用--help指令可查看所有相关参数。

Spark同时提供Python API。交互式地用Python跑Spark，用bin/pyspark:

./bin/pyspark --master local[2]

提交Pyspark任务的示例如下，

./bin/spark-submit examples/src/main/python/pi.py 10

实验性的R API自Spark 1.4开始（只在DataFrames APIs里有） 。用bin/sparkR交互式地用R跑Spark:

./bin/sparkR --master local[2]

提交sparkR任务的示例如下，

./bin/spark-submit examples/src/main/r/dataframe.R
一级睡神
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark java文档中文版_Spark3.0中文官网文档
weixin_39907850的博客
02-28 1525
本帖最后由 hanyunsong 于 2020-7-16 17:21 编辑Apache Spark是用于大规模数据处理的统一分析引擎. 它提供Java，Scala，Python和R中的高级API，以及支持常规执行图的优化引擎. 它还支持一组丰富的更高级别的工具，包括星火SQL用于SQL和结构化数据的处理， MLlib机器学习， GraphX用于图形处理，以及结构化流的增量计算和流处理.Securi...
Spark中文手册3：Spark之基本概念
wanmeilingdu
05-09 603
问题导读 1、什么是Spark Streaming？ 2、如何创建StreamingContext对象？ 3、什么是高级源？
Spark性能调优官方指南
qq_37163925的博客
06-16 1255
Spark性能调优官方指南1、数据序列化2、内存调优2.1 内存管理概述2.2 确定内存消耗2.3 调整数据结构2.4 序列化RDD存储2.5 垃圾回收器优化2.5.1 衡量GC的影响2.5.2 高级GC调整3、其他注意事项3.1 并行度3.2 Reduce Task的内存使用3.3 广播”大变量“3.4 数据本地性 前言 由于大多数Spark计算基于内存的性质，群集中任何资源（CPU，网络带宽或内存）都可能成为Spark程序的性能瓶颈。通常，如果数据和内存合适，则瓶颈是网络带宽，但是有时，我们还需要进行一
SPARK官方文档中文翻译
qq_35725352的博客
12-09 1085
Spark版本：1.6.0转载请注明出处：http://www.cnblogs.com/BYRans/1 概述(Overview) 2 引入Spark(Linking with Spark) 3 初始化Spark(Initializing Spark) 3.1 使用Spark Shell(Using the Shell) 4 弹性分布式数据集(RDDs) 4.1 并行集合(Parallel
Spark2.4.3集群部署
最新发布
09-14
"Spark2.4.3集群部署知识点" Spark2.4.3集群部署是将Spark集群安装到多台机器上，以达到分布式计算和大规模数据处理的目的。下面是Spark2.4.3集群部署的详细知识点： 1. Master 节点配置 Master 节点是Spark集群的...
spark-2.4.3-bin-hadoop2.7.zip
12-12
Spark 2.4.3是Spark的一个稳定版本，它构建在Hadoop 2.7之上，提供了对分布式数据处理的强大支持。在这个版本中，Spark集成了多种功能和优化，使得数据科学家和开发人员能够更方便地处理大规模数据。 首先，Spark的...
spark-2.4.3-bin-hadoop2-without-hive.tgz
05-20
Spark是Apache软件基金会下的一个开源大数据处理框架，以其高效、灵活和易用性著称。在给定的压缩包文件"spark-2.4.3-bin-hadoop2-without-hive.tgz"中，我们可以看到这是一份包含了Spark 2.4.3版本的二进制发行版，...
spark-2.4.3-bin-hadoop2-without-hive_hadoop3.2.tgz
05-20
Spark 2.4.3是Apache Spark的一个稳定版本，它为大数据处理提供了高效、易用和弹性的计算框架。这个版本特别强调了性能优化、功能增强以及与Hadoop 3.2的兼容性。"without-hive"表示此版本不包含Hive组件，因此它更...
spark-2.4.3-bin-hadoop2.7.tgz
06-13
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点...
spark-2.4.0-bin-hadoop2.7
01-17
spark-2.4.0-bin-hadoop2.7
编程指南快速入门 - Spark 2.4.0文档.pdf
12-02
编程指南快速入门 - Spark 2.4.0文档.
spark2官方中文文档
11-22
spark2.0官方文档。欢迎下载学习
Spark 2.0.2 Spark 2.2 中文文档 本资源为网页，不是PDF
12-07
本资源为网页，不是PDF Apache Spark 2.0.2 中文文档 Spark 概述 编程指南 快速入门 Spark 编程指南 概述 Spark 依赖 Spark 的初始化 Shell 的使用 弹性分布式数据集（RDDS） 并行集合 外部数据集 RDD 操作 RDD 持久化 共享变量 Broadcast Variables （广播变量） Accumulators （累加器） 部署应用到集群中 使用 Java / Scala 运行 spark Jobs 单元测试 Spark 1.0 版本前的应用程序迁移 下一步 Spark Streaming Spark Streaming 概述 一个简单的示例 基本概念 依赖 初始化 StreamingContext Discretized Streams（DStreams）（离散化流） Input DStreams 和 Receivers DStreams 上的 Transformations（转换） DStreams 上的输出操作 DataFrame 和 SQL 操作 MLlib 操作 缓存 / 持久化 CheckPointing 累加器和广播变量 应用程序部署 监控应用程序 性能 降低批处理的时间 设置合理的批处理间隔 内存 容错语义 迁移指南（从 0.9.1 或者更低版本至 1.x 版本） 快速跳转 Kafka 集成指南 DataFrames，Datasets 和 SQL Spark SQL 概述 SQL Datasets 和 DataFrames Spark SQL 入门指南 起始点 : SparkSession 创建 DataFrame 无类型 Dataset 操作（aka DataFrame 操作） 以编程的方式运行 SQL 查询 创建 Dataset RDD 的互操作性 数据源 通用的 Load/Save 函数 Parquet文件 JSON Datasets Hive 表 JDBC 连接其它数据库 故障排除 性能调优 缓存数据到内存 其它配置选项 分布式 SQL引擎 运行 Thrift JDBC/ODBC 运行 Spark SQL CLI 迁移指南 从 Spark SQL 1.6 升级到 2.0 从 Spark SQL 1.5 升级到 1.6 从 Spark SQL 1.4 升级到 1.5 从 Spark SQL 1.3 升级到 1.4 从 Spark SQL 1.0~1.2 升级到 1.3 兼容 Apache Hive 参考 数据类型 NaN 语义 Structured Streaming MLlib（机器学习） 机器学习库（MLlib）指南 ML Pipelines（ML管道） Extracting, transforming and selecting features（特征的提取，转换和选择） Classification and regression（分类和回归） Clustering（聚类） Collaborative Filtering（协同过滤） ML Tuning: model selection and hyperparameter tuning（ML调优：模型选择和超参数调整） Advanced topics（高级主题） MLlib：基于RDD的API Data Types - RDD-based API（数据类型） Basic Statistics - RDD-based API（基本统计） Classification and Regression - RDD-based API（分类和回归） Collaborative Filtering - RDD-based API（协同过滤） Clustering - RDD-based API（聚类 - 基于RDD的API） Dimensionality Reduction - RDD-based API（降维） Feature Extraction and Transformation - RDD-based API（特征的提取和转换） Frequent Pattern Mining - RDD-based API（频繁模式挖掘） Evaluation metrics - RDD-based API（评估指标） PMML model export - RDD-based API（PMML模型导出） Optimization - RDD-based API（最） GraphX（图形处理） Spark R 部署 集群模式概述 提交应用 Spark Standalone 模式 Spark on Mesos Spark on YARN Spark on YARN 上运行 准备 Spark on YARN 配置 调试应用 Spark 属性 重要提示 在一个安全的集群中运行 用 Apache Oozie 来运行应用程序 Kerberos 故障排查 Spark 配置 Spark 监控 指南 作业调度 Spark 安全 硬件配置 构建 Spark
Spark 官方文档概览3.0.1
xiaohu21的博客
09-17 835
Spark 官方文档概览3.0.1 背景 官方文档地址 https://spark.apache.org/docs/latest/ 1. 概览 2. 安全 spark默认安全功能是关闭的，因为安全特性会对数据传输，数据访问等做更多校验，一定程度影响性能和使用便捷性。 一般spark集群部署时会设置一台堡垒机，spark集群之间安全性设置会弱化，但堡垒机的安全特性会提升到最高。这样可以兼顾安全性和集群的使用便捷性。 3. 下载 这里注意，java版本最好使用java8。这也是目前企业开发中主流的j
Spark中文文档翻译3.1.1-Spark RDD Guide--概览和初始化
不管多累生活也要精致
04-22 296
如果觉得内容不错，别忘记一键三连哦！！！
Spark 官方文档汇总
weixin_45886938的博客
05-12 511
以下文档点击即可进入 Spark 3.2.1 官方文档 Spark 3.2.0 官方文档 Spark 3.1.3 官方文档 Spark 3.1.2 官方文档 Spark 3.1.1 官方文档 Spark 3.0.3官方文档 Spark 3.0.2 官方文档 Spark 3.0.1 官方文档
Spark中文文档翻译3.1.1-Spark SQL Guide--Spark SQL, DataFrames and Datasets Guide
不管多累生活也要精致
04-21 196
Spark SQL, DataFrames and Datasets Guide Spark SQL是用于结构化数据处理的Spark模块。 与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。 在内部，Spark SQL使用这些额外的信息来执行额外的优化。 与Spark SQL交互的方法有多种，包括SQL和Dataset API。 计算结果时，将使用相同的执行引擎，而与要用来表达计算的API /语言无关。 这种统一意味着开发人员可以轻
Spark SQL 官方文档-中文翻译
bug在左，生活在右
07-06 838
Spark SQL 官方文档-中文翻译
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值