Spark Release 2.3.0 版本发布新特性和优化

最新推荐文章于 2024-06-05 14:22:39 发布
最新推荐文章于 2024-06-05 14:22:39 发布
阅读量3.7k 收藏 1
点赞数
分类专栏： spark 1.6.0 core 源码分析 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuzhilon88/article/details/79448941
版权

Apache Spark 2.3.0是2.x系列中的第四个版本。此版本增加了对结构化流中的连续处理以及全新的Kubernetes Scheduler后端的支持。其他主要更新包括新的DataSource和结构化Streaming v2 API，以及一些PySpark性能增强。此外，此版本继续关注可用性，稳定性和抛光，同时解决了大约1400问题。

要下载Apache Spark 2.3.0，请访问下载页面。你可以咨询JIRA的详细变化。我们在这里策划了一个高层次的变更清单，按主要模块分组。

Core，PySpark和Spark SQL

  • 主要特点
    • Spark on Kubernetes：[ SPARK-18278 ]一个新的kubernetes调度程序后端，支持将原生作业提交到由kubernetes管理的集群。请注意，此支持目前是实验性的，并且应该预期配置，容器图像和入口点的行为变化。
    • Vectorized ORC Reader：[ SPARK-16060 ]增加对新ORC读取器的支持，通过矢量化（2-5x）显着提高ORC扫描吞吐量。为了启用读者，用户可以设置spark.sql.orc.impl为native。
    • Spark historyServer V2：[ SPARK-18085 ]一个新的Spark历史记录服务器（SHS）后端，通过更高效的事件存储机制为大规模应用程序提供更好的可伸缩性。
    • Datasource API V2：[ SPARK-15689 ] [ SPARK-22386 ]用于在Spark中插入新数据源的实验性API。新的API试图解决V1 API的几个限制，旨在促进开发高性能，易于维护和可扩展的外部数据源。请注意，此API仍处于积极的发展阶段，应该预料会发生重大变化。
    • PySpark性能增强：[ SPARK-22216 ] [ SPARK-21187 ]通过快速数据序列化和矢量化执行，python性能和互操作性显着提高。
  • 性能和稳定性
  • 其他显着变化

编程指南：Spark RDD编程指南和Spark SQL，DataFrames和DatasetsGuide。

Structured Streaming

  • 连续处理
    • 一种新的执行引擎，可以通过更改仅一行用户代码，以亚毫秒端到端延迟执行流式查询。要了解更多信息，请参阅编程指南。
  • 流 - 流联接
    • 能够加入两个数据流，缓冲行直到匹配的元组到达另一个流。可以使用谓词对事件时间列来限制需要保留的状态量。
  • 流媒体API V2
    • 用于插入新源和接收器的实验性API，适用于批处理，微批处理和连续执行。请注意，此API仍处于积极的发展阶段，应该有预期的改变。

编程指南：结构化流媒体编程指南。

MLlib

  • 强调
    • ML预测现在适用于结构化流式处理，使用更新的API。下面的细节。
  • 新/改进的API
    • [ SPARK-21866 ]：将图像读入DataFrame（Scala / Java / Python）的内置支持
    • [ SPARK-19634 ]：DataFrame用于描述向量列（Scala / Java）的摘要统计信息
    • [ SPARK-14516 ]：ClusteringEvaluator用于调整聚类算法，支持余弦剪影和平方欧几里德轮廓度量（Scala / Java / Python）
    • [ SPARK-3181 ]：具有Huber损失的强大线性回归（Scala / Java / Python）
    • [ SPARK-13​​969 ]：FeatureHasher变压器（Scala / Java / Python）
    • 多个特征转换器的多列支持：
    • [ SPARK-21633 ]和SPARK-21542 ]：改进了对Python中自定义管道组件的支持。
  • 新功能
    • [ SPARK-21087 ]：CrossValidator并且TrainValidationSplit可以在装配时收集所有模型（Scala / Java）。这允许您检查或保存所有拟合的模型。
    • [ SPARK-19357 ]：元算法CrossValidator，TrainValidationSplit, OneVsRest支持并行性参数，用于并行拟合多个子模型Spark作业
    • [ SPARK-17139 ]：多项逻辑回归模型总结（Scala / Java / Python）
    • [ SPARK-18710 ]：在GLM中添加偏移量
    • [ SPARK-20199 ]：将featureSubsetStrategyParam 添加到GBTClassifier和GBTRegressor。使用这个子样本特征可以显着提高训练速度; 这个选项一直是一个关键的力量xgboost。
  • 其他显着变化
    • [ SPARK-22156 ] Word2Vec通过num迭代固定学习速率缩放。新的学习速率被设置为匹配原始的Word2VecC代码，并应该从培训中获得更好的结果。
    • [ SPARK-22289 ]添加JSON对矩阵参数的支持（修正了LogisticRegressionModel使用系数边界时ML持久性的错误。）
    • [ SPARK-22700 ] Bucketizer.transform不正确地删除包含的行NaN。当Param handleInvalid设置为“跳过”时，Bucketizer如果另一个（不相关的）列有NaN值，则会在输入列中删除具有有效值的行。
    • [ SPARK-22446 ]催化剂优化器StringIndexerModel在handleInvalid被设置为“错误”时有时会引发不正确的“不可见标签”异常。由于谓词下推，过滤数据可能会发生这种情况，即使已经过滤了无效行来自输入数据集。
    • [ SPARK-21681 ]修复了多项逻辑回归中的边缘病例错误，当某些特征具有零方差时导致系数不正确。
    • 主要优化：
      • [ SPARK-22707 ]降低了内存消耗CrossValidator
      • [ SPARK-22949 ]降低了内存消耗TrainValidationSplit
      • [ SPARK-21690 ] Imputer应该对数据进行一次遍历
      • [ SPARK-14371 ] OnlineLDAOptimizer避免为每个小批量的驱动程序收集统计数据。

编程指南：机器学习库（MLlib）指南。

SparkR

SparkR在2.3.0版本中的主要重点是提高UDF的稳定性并在现有的API上添加几个新的SparkR包装器：

编程指南：SparkR（R on Spark）。

GraphX

编程指南：GraphX编程指南。

Deprecations

  • Python
    • [ SPARK-23122 ]弃用PySpark register*中SQLContext和UDF中的UDFCatalog
  • MLlib
    • [ SPARK-13​​030 ] OneHotEncoder已被弃用，将在3.0中删除。它已被新的取代OneHotEncoderEstimator。请注意，OneHotEncoderEstimator它将被重命名为OneHotEncoder3.0（但OneHotEncoderEstimator将作为别名保留）。

Changes of behavior

  • SparkSQL
    • [ SPARK-22036 ]：默认情况下，小数点之间的算术运算返回一个四舍五入的值，如果无法确切表示（而不是NULL在先前版本中返回）
    • [ SPARK-22937 ]：当所有输入都是二进制时，SQL elt()以二进制形式返回输出。否则，它以字符串形式返回。在之前的版本中，尽管有输入类型，它总是以字符串的形式返回。
    • [ SPARK-22895 ]：在第一个非确定性谓词之后的Join / Filter的确定性谓词如果可能的话，也会向下/通过子操作符。在之前的版本中，这些过滤器不适用于谓词下推。
    • [ SPARK-22771 ]：当所有输入都是二进制时，functions.concat()将输出作为二进制返回。否则，它以字符串形式返回。在之前的版本中，尽管有输入类型，它总是以字符串的形式返回。
    • [ SPARK-22489 ]：当任何一个连接端都可以广播时，我们更喜欢广播在广播提示中明确指定的表。
    • [ SPARK-22165 ]：分区列推断先前为不同的推断类型找到了不正确的通用类型，例如，以前它以double类型作为double类型和date类型的通用类型结束。现在它找到了这种冲突的正确类型。有关详细信息，请参阅迁移指南。
    • [ SPARK-22100 ]：此percentile_approx功能以前接受过numeric类型输入和输出double类型的结果。现在它支持date类型，timestamp类型和numeric类型作为输入类型。结果类型也会更改为与输入类型相同，这对于百分位数更合理。
    • [ SPARK-21610 ]：当被引用列仅包含内部损坏记录列（_corrupt_record默认命名）时，不允许来自原始JSON / CSV文件的查询。相反，您可以缓存或保存解析的结果，然后发送相同的查询。
    • [ SPARK-23421 ]：自Spark 2.2.1和2.3.0以来，当数据源表的数据列中存在分区模式和数据模式时，总是在运行时推断模式。推断的模式没有分区列。读取表格时，Spark尊重这些重叠列的分区值，而不是存储在数据源文件中的值。在2.2.0和2.1.x版本中，推断的模式是分区的，但表的数据对用户是不可见的（即结果集为空）。
  • PySpark
    • [ SPARK-19732 ]：na.fill()或者fillna也接受布尔值并用布尔值替换空值。在之前的Spark版本中，PySpark忽略它并返回原始数据集/数据帧。
    • [ SPARK-22395 ]：0.19.2使用Pandas相关功能（例如toPandas，createDataFrame来自Pandas DataFrame等）需要Pandas 或upper 。
    • [ SPARK-22395 ]：Pandas相关功能的时间戳值行为已更改为尊重会话时区，在先前的版本中会忽略该时区。
    • [ SPARK-23328 ]：当不是字典时，df.replace不允许省略。以前，在其他情况下可以省略，默认情况下，这是违反直觉和容易出错的。valueto_replacevalueNone
  • MLlib
    • 打破API变更：逻辑回归模型摘要的类和特征层次结构已更改为更干净，并更好地适应添加多类汇总。对于将用户代码转换LogisticRegressionTrainingSummary为a的用户代码，这是一次重大更改BinaryLogisticRegressionTrainingSummary。用户应该改用这个model.binarySummary方法。有关更多详细信息，请参见[ SPARK-17139 ]（请注意，这是一个@ExperimentalAPI）。这不会影响Python摘要方法，该方法对于多项和二进制的情况都能正常工作。
    • [ SPARK-21806 ]：BinaryClassificationMetrics.pr()第一点（0.0，1.0）具有误导性，并已被（0.0，p）代替，其中精度p与最低召回点相匹配。
    • [ SPARK-16957 ]：决策树现在在选择拆分值时使用加权中点。这可能会改变模型训练的结果。
    • [ SPARK-14657 ]：RFormula现在，没有拦截，在编码字符串术语时输出引用类别，以匹配原生R行为。这可能会改变模型训练的结果。
    • [ SPARK-21027 ]：默认使用的并行OneVsRest度现在设置为1（即串行）。在2.2及更早版本中，并行度被设置为Scala中默认的线程池大小。这可能会改变性能。
    • [ SPARK-21523 ]：升级微风0.13.2。这包括强烈的Wolfe线搜索L-BFGS的重要错误修复。
    • [ SPARK-15526 ]：JPMML依赖关系现在用阴影表示。
    • 有关修复错误导致的行为更改，请参阅“错误修复”部分。

Known Issues

  •  [ SPARK-23523 ] [SQL]由规则导致的结果不正确OptimizeMetadataOnlyQuery
  • [ SPARK-23406 ]流式自连接中的错误

 


wuzhilon88
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SPARK
innersense的专栏
07-08 764
1. Spark-shell 启动选择hive 还是in-memory? 在使用spark-shell时，进一步使用dataframe进行sql处理， 报错：HiveMetaStoreClient:Failed to connect to the MetaStore Server spark-shell在默认启动的时候会选择Hive做为SqlContext的默认SessionCatalog,所谓catalog就是spark中对表资源进行管理的标准api集合。 如果想使用in-memory的方式 ，可
Spark-0.8 release新增特性及看点
架构设计
09-26 85
Spark0.8已于今天正式发布，是Spark成为Apache顶级孵化项目后第一次重大发布。主要有几方面最大的改动：MLlib机器学习库面世；支持YARN；Python的提升及API的丰富；增加webUI监控。历数这次重大更新的各个新增点，我最看重的是MLlib的发布，扩充了spark上机器学习基础算法库，MLbase也是初次正式面世，参照现有scala的实现，开发者完全可以开始着手丰富自己的sp...
spark3.3版本功能增强细项
最新发布
sysout_u_and_m的博客
06-05 749
传统大数据架构
Spark core详解系列三
边看边学
11-28 148
wordcount 详解 spark-shell 示例代码： scala> val result = sc.textFile("file:///home/hadoop/data/wc.data").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_) scala> result.toDebugString res: String = (2)...
【大数据】Apache Spark 3.3.0 正式发布，新特性详解
如切如磋，如琢如磨，臻于至善。
02-18 1287
Apache Spark 3.3.0 从2021年07月03日正式开发，历时近一年，终于在2022年06月16日正式发布，在 Databricks Runtime 11.0 也同步发布。PySpark 的 PyPI 月下载量已经迅速增长到2100万次，Python 现在是最流行的 API 语言。与去年同期相比，PySpark 的月下载量翻了一番。此外，Maven 的月下载量超过2400万次。Spark 已经成为最广泛使用的可伸缩计算引擎。
大数据实时处理 2.1 初识Spark
saddwe的博客
06-09 384
（一）Spark的组件Spark在2013年加入Apache孵化器项目，之后获得迅猛的发展，并于2014年正式成为Apache软件基金会的顶级项目。Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎，它是基于内存计算的大数据并行计算框架，适用于各种各样的分布式平台的系统。在Spark生态圈中包含了Spark SQL、Spark Streaming、GraphX、MLlib等组件。
spark-2.3.0-bin-hadoop2.7版本.zip
03-25
Spark 2.3.0版本相对于早期版本，引入了一些新的特性和改进： 1. **DataFrame/Dataset增强**：增加了更多优化的物理执行计划，提升了性能；对DataFrame和Dataset的API进行了优化，使其更易用。 2. **Spark SQL的兼容...
spark2.3.0.rar
09-20
在Spark 2.3.0版本中，它引入了更多的性能优化、新功能以及对现有特性的增强。这个压缩包"spark2.3.0.rar"包含了Spark的核心组件，可能包括Spark Core、Spark SQL、Spark Streaming、MLlib（机器学习库）和GraphX...
spark-2.3.0-bin-hadoop2-without-hive
03-21
Spark 2.3.0 是一个强大的分布式计算框架，其性能和灵活性相比早期版本有了显著提升。它支持多种数据处理模式，包括批处理、交互式查询（通过 Spark SQL）和实时流处理（通过 Spark Streaming）。这次的发布版本特别...
spark2.3.0-hadoop2.6.tgz
07-23
Spark 2.3.0引入了许多新特性，包括增强的SQL支持（DataFrame和Dataset API）、流处理（Spark Streaming）、机器学习库（MLlib）和图处理（GraphX）的改进。这些API允许用户以高抽象级别编写分布式应用程序，降低了...
spark-2.3.0
04-25
7. **错误修复和稳定性**：每个新版本都会包含大量的错误修复，确保系统的稳定性和可靠性。Spark 2.3.0也不例外，它修复了许多已知问题，提升了整体系统稳定性。 8. **Python和R接口**：对于Python（PySpark）和R的...
关于spark各版本的下载地址
weixin_61606472的博客
02-13 564
spark 下载
Spark3.0新特性
qq_32118757的博客
03-20 1351
Spark3.0新特性
Spark3的新特性
m0_51697147的博客
01-23 1415
Spark3新特性
Spark-3，2024年最新手慢无
2401_84166794的博客
04-15 659
由于我的集群是高可用（HA）的，建议使用逻辑名称（Logical URI）而非具体的 Namenode 主机名和端口。Standalone 模式是 Spark 自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone 模式是真实地在多个机器之间搭建 Spark 集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。bin/pyspark 程序，可以提供一个交互式的 Python 解释器环境，在这里面可以写普通 python 代码，以及 spark 代码。
Spark机器学习管道 - Estimator
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-04 514
掌握Spark机器学习管道中常用Estimator的使用。1、使用IDF estimator，计算每个单词的重要性。   2、使用StringIndexer estimator来对电影类型进行编码。   3、使用OneHotEncoderEstimator estimator将分类值的索引编码为二元向量。   4、使用MinMaxScaler estimator对数值数据进行规范化。   5、使用MinMaxScaler estimator对数值数据进行标准化。一个Estimator代表了一种机器学习算法，
Pyspark特征工程--OneHotEncoderEstimator
weixin_46408961的博客
03-09 2502
从spark版本2.4起，**OneHotEncoderEstimator已重命名为OneHotEncoder ​ 常用于StringIndexer之后，返回的新的列是一个向量 例如，对于 5 个类别，输入值 2.0 将映射到 [0.0, 0.0, 1.0, 0.0] 的输出向量。 独热编码（One-Hot Encoding） 将表示为标签索引的分类特征映射到二进制向量，该向量最多具有一个单一的单值，该单值表示所有特征值集合中特定特征值的存在。 此编码允许期望连续特征（例如逻辑回归）的算法使用分类特征。
spark-各版本特性
program哲学
03-16 2685
0.3 Save Operations You can now save distributed datasets to the Hadoop filesystem (HDFS), Amazon S3, Hypertable, and any other storage system supported by Hadoop. There are convenience methods for se...
Spark Streaming 2.3.0 教程：DStream与API详解
"Spark Streaming 2.3.0 API 的中文翻译及介绍，包括核心概念、DStream 和简单示例的解析。" Spark Streaming 是 Apache Spark 的一个模块，专门用于处理实时数据流。在 Spark Streaming 2.3.0 版本中，它提供了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值