spark 3.5版本发布

最新推荐文章于 2024-10-03 16:24:50 发布
最新推荐文章于 2024-10-03 16:24:50 发布
阅读量1.2k 收藏
点赞数
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/smileyboy2009/article/details/134033501
版权
ApacheSpark3.5.0发布，包含1,300+Jira工单的改进，如SparkConnect的官方支持、分布式训练增强、Python和Scala的结构化流增强，以及SQL功能扩展。此外，还包括PySpark错误类迁移、Python用户定义表函数和内存管理优化等。
摘要由CSDN通过智能技术生成

Apache Spark 3.5.0是3.x系列的第六个版本。在开源社区的重大贡献下，此版本处理了 1,300 多个 Jira 工单。

此版本引入了更多 Spark Connect 正式发布的方案，例如 Scala 和 Go 客户端、分布式训练和推理支持，以及增强了结构化流式处理的兼容性;引入了新的 PySpark 和 SQL 功能，例如 SQL IDENTIFIER 子句、对 SQL 函数调用的命名参数支持、对 HyperLogLog 近似聚合的 SQL 函数支持以及 Python 用户定义的表函数;使用DeepSpeed简化分布式训练;引入运算符之间的水印传播，在结构化流中引入 dropDuplicatesWithinWatermark 操作。

突出

星火连接

  • 将 sql 模块重构为 sql 和 sql-api，以生成可在 Scala Spark Connect 客户端和 Spark 之间共享的最小依赖项集，并避免拉取所有 Spark 传递依赖项。火花-44273
  • 介绍 Spark Connect SPARK-42554 的 Scala 客户端
  • Pandas API 支持 Python Spark Connect 客户端 SPARK-42497
  • 基于 PyTorch 的分布式 ML 支持 Spark Connect SPARK-42471
  • Python 和 Scala 中对 Spark Connect 的结构化流支持 SPARK-42938
  • Go 客户端 SPARK-43351 的初始版本
  • Spark native和Spark Connect客户端在Python和Scala上的兼容性进行了大量改进。
  • 改进了客户端应用程序的可调试性和请求处理（异步处理、重试、长期查询）

Spark SQL

特征
  • 添加元数据列文件块开始和长度 SPARK-42423
  • 支持 Scala/Java sql（） SPARK-44066 中的位置参数
  • 在解析器中添加函数调用的命名参数支持 SPARK-43922
  • 支持选择默认，顺序依据，限制，偏移插入源关系SPARK-43071
  • 为 PARTITION BY 添加 SQL 语法，并在 TVF 调用的 TABLE 参数后添加 ORDER BY 子句 SPARK-44503
  • 在描述和显示中创建表输出 SPARK-42123 中包含列默认值
  • 为目录添加可选模式.列表目录 SPARK-43792
  • 为目录列表数据库 SPARK-43881 添加可选模式
  • 准备执行时的回调 SPARK-44145
  • 支持按名称插入语句 SPARK-42750
  • 为 Scala API SPARK-44131 添加call_function
  • 稳定派生列别名 SPARK-40822
  • 支持一般常量表达式作为创建/替换表选项值 SPARK-43529
  • 支持通过 INTERSECT/EXCEPT SPARK-36124 进行关联的子查询
  • 标识符子句 SPARK-43205
  • ANSI 模式：如果内部转换溢出，则转换应返回错误 SPARK-42427
功能
  • 添加对数据草图HllSketch SPARK-16484的支持
  • 通过 aes_encrypt（）/aes_decrypt（） SPARK-43038 支持 CBC 模式
  • 支持表值函数 SPARK-44200 的表参数解析器规则
  • 实现位图函数 SPARK-44154
  • 添加 try_aes_decrypt（） 函数 SPARK-42701
  • array_insert应失败，索引为 0 SPARK-43011
  • 为 to_char SPARK-43815 添加to_varchar别名
  • 高阶功能：array_compact实现SPARK-41235
  • 为内置函数 SPARK-44059 添加命名参数的分析器支持
  • 为用户指定列表的列少于目标表的插入添加 NULL SPARK-42521
  • 添加了对 aes_encrypt IV 和 AAD SPARK-43290 的支持
  • 解码函数在传递时返回错误的结果 空火花-41668
  • 支持 udf“luhn_check”SPARK-42191
  • 支持聚合 SPARK-41631 上的隐式横向列别名解析
  • 在使用窗口 SPARK-42217 的查询中支持隐式横向列别名
  • 添加 3 参数函数别名DATE_ADD并DATE_DIFF SPARK-43492
数据来源
  • 对 JDBC 目录 SPARK-42904 的 Char/Varchar 支持
  • 支持通过 JDBC API 和 TVF SPARK-43119 动态获取 SQL 关键字
  • 数据源 V2：处理基于增量的源的合并命令 SPARK-43885
  • 数据源 V2：处理基于组的源的合并命令 SPARK-43963
  • 数据源 V2：处理基于组的源的更新命令 SPARK-43975
  • 数据源 V2：允许将更新表示为删除和插入 SPARK-43775
  • 允许 jdbc 方言覆盖用于创建表的查询 SPARK-41516
  • SPJ：支持部分群集分发 SPARK-42038
  • DSv2 允许 CTAS/RTAS 保留架构可为空性 SPARK-43390
  • 添加 spark.sql.files.maxPartitionNum SPARK-44021
  • 处理基于增量的源的更新命令 SPARK-43324
  • 允许 V2 写入指示建议随机分区大小 SPARK-42779
  • 支持 lz4raw 压缩编解码器用于镶木地板 SPARK-43273
  • 阿夫罗：编写复杂的联合 SPARK-25050
  • 使用用户提供的 JSON/CSV 数据源 SPARK-39280 格式加速时间戳类型推断
  • Avro 支持由 Long SPARK-43901 支持的自定义十进制类型
  • 当分区键不匹配但联接表达式兼容时，避免在存储分区联接中随机播放 SPARK-41413
  • 将二进制文件更改为不受支持的数据类型 CSV 格式 SPARK-42237
  • 允许 Avro 将联合类型转换为字段名称稳定的 SQL，类型为 SPARK-43333
  • 使用 JSON/CSV 数据源中的旧格式加快时间戳类型推理 SPARK-39281
查询优化
  • 子表达式消除支持快捷表达式 SPARK-42815
  • 改进连接统计估计，如果一方可以保持唯一性 SPARK-39851
  • 引入基于秩的过滤器的窗口组限制以优化top-k计算 SPARK-37099
  • 修复优化规则 SPARK-44431 中空 IN（空列表）的行为
  • 如果分区规范为空，则通过窗口推断并下推窗口限制 SPARK-41171
  • 如果外部联接都是不同的聚合函数，请删除它们 SPARK-42583
  • 折叠子查询中具有相同分区/顺序的两个相邻窗口 SPARK-42525
  • 通过 Python UDF SPARK-42115 下推限制
  • 优化筛选谓词的顺序 SPARK-40045
代码生成和查询执行
  • 运行时过滤器应支持多级随机连接端作为过滤器创建端 SPARK-41674
  • Codegen 支持 HiveSimpleUDF SPARK-42052
  • Codegen 支持 HiveGenericUDF SPARK-42051
  • 代码生成支持构建端外部洗牌哈希加入 SPARK-44060
  • 实现to_csv函数的代码生成 （结构ToCsv） SPARK-42169
  • 使 AQE 支持内存表扫描执行 SPARK-42101
  • 支持左外联接构建左或右外联接构建右混接混接 SPARK-36612
  • 尊重要求在 CTAS/RTAS SPARK-43088 中进行分发和订购
  • 在广播联接流端应用的联接中的合并桶 SPARK-43107
  • 使用联接 SPARK-44251 在完全外部的合并联接键上正确设置可为空
  • 修复 IN 子查询列表查询可空性 SPARK-43413
其他值得注意的变化
  • 使用联接 SPARK-43718 中的键正确设置为可为空
  • 修复相关标量子查询 SPARK-43156 中的 COUNT（*） 为空错误
  • 数据帧连接与外部联接应为不匹配的行返回空值 SPARK-37829
  • 自动重命名冲突的元数据列 SPARK-42683
  • 在面向用户的文档 SPARK-42706 中记录 Spark SQL 错误类

PySpark

特征
  • 支持 Python sql（） 中的位置参数 SPARK-44140
  • 通过 sql（） SPARK-41666 支持参数化 SQL
  • 支持Python用户自定义表函数SPARK-43797
  • 支持在运行时为 UDF 和熊猫函数 API 设置 Python 可执行文件 SPARK-43574
  • 将 DataFrame.offset 添加到 PySpark SPARK-43213
  • 在 pyspark.sql.dataframe.DataFrame 中实现 dir（） 以包含列 SPARK-43270
  • 添加选项以使用大型可变宽度矢量进行箭头 UDF 操作 SPARK-39979
  • 使地图熊猫/地图箭支持屏障模式执行SPARK-42896
  • 将 JobTag API 添加到 PySpark SparkContext SPARK-44194
  • 支持 Python UDTF 在 Python SPARK-44380 中进行分析
  • 在 pyspark.sql.types SPARK-43759 中公开时间戳NTZType
  • 支持嵌套时间戳类型 SPARK-43545
  • 支持从熊猫数据帧和toPandas 创建数据帧中的用户定义类型 [SPARK-43817]SPARK-43702
  • 将描述符二进制选项添加到 Pyspark Protobuf API SPARK-43799
  • 接受泛型元组作为熊猫UDF SPARK-43886的键入提示
  • 添加array_prepend函数 SPARK-41233
  • 添加断言数据帧相等效用函数 SPARK-44061
  • 支持箭头优化的蟒蛇 UDTF SPARK-43964
  • 允许 fp 近似相等的自定义精度 SPARK-44217
  • 使断言架构相等 API 公开 SPARK-44216
  • 支持 ps 的fill_value。SPARK-42094系列
  • 支持从熊猫数据帧 SPARK-43473 创建数据帧中的结构类型
其他值得注意的变化
  • 添加对 df[ 的自动完成支持] in pyspark.sql.dataframe.dataFrame [SPARK-43892]
  • 弃用并删除将在 pandas 2.0 中删除的 API [SPARK-42593]
  • 使 Python 成为代码示例的第一个选项卡 - Spark SQL、数据帧和数据集指南 SPARK-42493
  • 更新剩余的 Spark 文档代码示例以默认显示 Python SPARK-42642
  • 创建箭头记录批处理时使用删除重复的字段名称 [SPARK-41971]
  • 支持使用熊猫数据帧创建数据帧中的重复字段名称 [SPARK-43528]
  • 使用系列创建数据帧时允许列参数 [SPARK-42194]

核心

  • 计划合并在推送合并随机播放时完成地图阶段重试但没有正在运行的任务 SPARK-40082
  • 引入用于 SQL 运算符执行的分区计算器 SPARK-43061
  • 允许随机播放驱动程序组件声明随机播放数据是否可靠存储 SPARK-42689
  • 为阶段添加最大尝试次数限制，以避免潜在的无限重试 SPARK-42577
  • 支持使用静态火花会议SPARK-43782进行日志级别配置
  • 优化百分位数堆 SPARK-42528
  • 将原因参数添加到任务计划程序.取消任务 SPARK-42602
  • 避免在迁移随机数据时丢失已停用的执行程序时重新运行不必要的任务 SPARK-41469
  • 修复了使用 rdd 缓存 SPARK-41497 重试任务时的累加器计数不足的问题
  • 默认情况下，将 RocksDB 用于 spark.history.store.hybridStore.diskBackend SPARK-42277
  • 支持 spark.kubernetes.setSubmitTimeInDriver SPARK-43014
  • 非命运共享缓存包装器番石榴缓存 SPARK-43300
  • 提高 MapOutputTracker.updateMapOutput SPARK-43043 的性能
  • 允许应用控制其元数据是否通过外部随机播放服务 SPARK-43179 保存在数据库中
  • 端口执行器故障跟踪器从 YARN 上的 Spark 到 K8s SPARK-41210
  • 参数化 KubernetesExecutor后端 SPARK-42764 中驱动程序 props 获取器的最大尝试次数
  • 将 SPARK_DRIVER_POD_IP env 变量添加到执行程序 pod SPARK-42769
  • 在执行程序 pod SPARK-43504 上挂载 hadoop 配置映射

结构化流

  • 为 RocksDB 状态存储 SPARK-43120 添加对跟踪固定块内存使用情况的支持
  • 添加 RocksDB 状态存储提供程序内存管理增强功能 SPARK-43311
  • 引入 dropDuplicatesWithinWatermark SPARK-42931
  • 引入新的回调 onQueryIdle（） 到 StreamingQueryListener SPARK-43183
  • 添加选项以跳过提交协调器作为 DSv2 源/接收器的流式写入 API 的一部分 SPARK-42968
  • 引入新的回调“onQueryIdle”到StreamingQueryListener SPARK-43183
  • 为 RocksDB 状态存储提供程序 SPARK-43421 实现基于更新日志的检查点
  • 添加对流式处理有状态运算符 SPARK-42792 中使用的 RocksDB WRITE_FLUSH_BYTES的支持
  • 新增支持流式传输 SPARK-42819 中对 RocksDB 的设置max_write_buffer_number和write_buffer_size
  • RocksDB 状态存储锁采集应该在从inputRDD SPARK-42566获取输入迭代器后进行
  • 在运营商中引入水印传播 SPARK-42376
  • 清理 RocksDB 检查点目录 SPARK-42353 中的孤立 sst 和日志文件
  • 展开查询终止事件以包含错误类（如果异常 SPARK-43482 中存在错误类）

毫升

  • 支持使用深速SPARK-44264进行函数的分布式训练
  • 用于 Spark3.5 的 sparkML 的基本接口：估算器/变压器/模型/评估器 SPARK-43516
  • 使 MLv2（火花连接上的 ML）支持熊猫 >= 2.0 SPARK-43783
  • 更新 MLv2 转换器接口 SPARK-43516
  • 在分销商 SPARK-43097 之上实现的新 pyspark ML 逻辑回归估计器
  • 添加分类器.获取数字类返回 SPARK-42526
  • 编写深度速度分布式学习类深速火炬分发器 SPARK-44264
  • 火花连接 SPARK-43981 上 ML 的基本保存/加载实现
  • 改进逻辑回归模型节省 SPARK-43097
  • 在火花连接 SPARK-43982 上实现 ML 的管道估算器
  • 实现交叉验证器估算器 SPARK-43983
  • 实施分类评估器 SPARK-44250
  • 使 PyTorch Distributor 與 Spark Connect SPARK-42993 相容

用户界面

  • 为 Spark Connect SPARK-44394 添加 Spark UI 页面
  • 支持“执行程序”选项卡中的堆直方图列 SPARK-44153
  • 在 UI 上显示每个失败查询的错误消息 SPARK-44367
  • 在“执行程序”选项卡上显示“执行程序的添加/删除时间” SPARK-44309

构建和其他

移除、行为更改和弃用

即将删除

以下功能将在下一个 Spark 主要版本中删除

  • 支持Java 8和Java 11，支持的最低Java版本将是Java 17
  • 支持 Scala 2.12，支持的最低 Scala 版本将是 2.13
smileyboy2009
关注
Iceberg与Spark整合环境配置
SunnyRivers
09-06 440
这部分内容中我们我们主要了解iceberg和spark整合时的各种参数配置。这里总结几个最常用的catalog相关参数：其实这个配置有两个对应值这个是最常用的，包含hive和hadoop两种catalog类型，而我们为了能继续使用历史hive表的数据，因此这里大部分都选择hive catalog。这种用的较少，将iceberg catalog添加到spark内置的catalog中。
搭建spark集群
HTY_yysd的博客
03-21 5054
一、搭建集群 （一）私有云上创建三台虚拟机 创建配置过程，参看本博《 在私有云上创建与配置虚拟机》 （二）利用SecureCRT登录三台虚拟机 打开连接对话框 1.登录master 在master虚拟机上安装vim编辑器 执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件 添加两个域名服务器 存盘退出 执行命令：yum -y install vim 现在我们通过/et...
spark-3.5.1-bin-hadoop3.tgz
04-22
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
Spark大数据处理讲课笔记3.5 RDD持久化机制
qq_61324603的博客
05-11 391
若RDD3没有持久化保存，则每次对RDD3进行操作时都需要从textFile()开始计算，将文件数据转化为RDD1，再转化为RDD2，最终才得到RDD3。如果希望手动删除RDD，而不是等待该RDD被Spark自动从缓存中删除，那么可以使用RDD的。Spark的缓存是容错的：如果缓存的RDD的任何分区丢失，Spark就会按照该RDD原来的转换过程自动重新计算并缓存。上述操作说明，调用RDD的persist()方法只是将该RDD标记为持久化，当执行行动操作时才会对标记为持久化的RDD进行持久化操作。
《Scala机器学习》一一3.5　Spark的性能调整
weixin_33841722的博客
07-04 68
本节书摘来自华章计算机《Scala机器学习》一书中的第3章，第3.5节,作者：[美]　亚历克斯·科兹洛夫（Alex Kozlov），更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.5　Spark的性能调整 虽然数据管道的高效执行是任务调度器优先考虑的，这是Spark驱动的一部分，有时Spark需要人为给出一些提示。Spark调度主要与两个参数...
spark2.0下实现IPYTHON3.5开发，兼配置jupyter，notebook降低python开发难度
pardy原创
11-11 3005
spark2.0下实现IPYTHON3.5开发1、spark2.0安装就不说了，网上有很多，不会的话给我留言。 2、我们在spark2.0下用python开发的话，不需要安装python了，直接安装anaconda就可以啦！ 3、anaconda下载地址：https://www.continuum.io/downloads，这里提供3.5和2.7的，考虑到以后学习，我下载最新的3.5，界面如下：
【spark】win10 pyspark3.5.1 安装超级简单
qq_41604569的博客
05-08 573
原因是因为hadoop问题，可以参考：https://blog.csdn.net/shulianghan/article/details/132042385。下载地址：https://spark.apache.org/downloads.html。复制文件到自己的路径下，路径最好不要有中文、空格；Path添加：%SPARK_HOME%\bin。(根据自己安装的位置)
Spark生产版本选择说明
wang2leee的博客
01-16 702
Spark生产版本选择说明
【Spark】【Spark软件 的下载 】
wq6qeg88的博客
02-17 1348
选择Spark版本：3.5.0 (Sep 13 2023) 3.5.0（2023年9月13日）3.4.2 (Nov 30 2023) 3.4.2（2023年11月30日）请注意，Spark 3通常是用Scala 2.12预构建的，Spark 3.2+提供了Scala 2.13的额外预构建发行版。在决定使用之前，请参阅安全页面，了解可能影响您下载的版本的已知问题列表。随着每个开发流的新Spark发布，以前的版本将被存档，但它们仍然可以在Spark发布存档中获得。请访问发行说明以了解新功能，或立即下载发行版。
【spark床头书系列】Spark 如何在Kubernetes运行官方权威资料spark on k8s
wang2leee的博客
11-17 215
Spark可以在由Kubernetes管理的集群上运行。这个特性利用了添加到Spark中的原生Kubernetes调度器。
星火认知大模型Spark3.5 api调用 #AI夏令营 #Datawhale #夏令营
W25679的博客
07-01 356
#AI夏令营 #Datawhale #夏令营
Spark 3.5.0 特性速览
大数据，Linux，服务器，技术、架构，方案
03-19 2214
Spark 3系列已经发布了第六版3.5.0，目前最新3.5.1。使用最广泛的大数据可扩展计算引擎。数以千计的公司，包括 80% 的财富 500 强企业，都在使用 Apache Spark。来自业界和学术界的 2000 多名开源项目贡献者。Apache Spark 3.5.0 是 3.x 系列中的第六个版本，该版本在开源社区的大力贡献下解决了超过 1,300 个 Jira 问题。
linux安装单机版spark3.5.0
11-10 458
是一种通用的大数据计算框架， 正如传统大数据技术Hadoop的MapReduce、 Hive引擎， 以及Storm流式实时计算引擎等. Spark主要用于大数据的计算。直接进入bin里面，启动./spark-shell。在配置spark之前，需要安装scala。三、spark环境变量配置。
Spark基础入门
热门推荐
桃李不言下自成蹊
12-14 3万+
sparkcore sparksql sparkstreaming structedstreming
spark的搭建
2301_76931245的博客
05-01 1357
Spark是一个开源的大数据处理框架，它提供了一个快速、通用和易于使用的计算引擎。Spark最初由美国加州伯克利大学AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。具体来说，Spark的优势包括：速度快：Spark能够快速进行数据读取、处理和写入操作，特别是针对机器学习等需要频繁访问数据集的任务，其速度远超传统的MapReduce框架。
Spark_Spark3.0功能特性
迎难而上
08-23 394
本文主要讲解一下Spark3.0中的功能特性，相对于老版本，表述不周的地方欢迎评论。2020年6月18日，开发了近两年（自2018年10月份至今）的Apache Spark 3.0.0正式发布！Apache Spark 3.0.0版本包含3400多个补丁，是开源社区做出巨大贡献的结晶，在Python和SQL功能方面带来了重大进展并且将重点聚焦在了开发和生产的易用性上。同时，今年也是Spark开源10周年，这些举措反映了Spark自开源以来，是如何不断的满足更广泛的受众需求以及更多的应用场景。
PySpark | Spark3新特性 | Spark核心概念
liujiesxs的博客
06-29 1210
Spark3新特性介绍、Spark的核心概念
学习大模型应用开发 - 第二章 - 用 LLM API 开发应用
CodingMomo的博客
05-23 832
具体来说，在使用 ChatGPT API 时，你可以设置两种 Prompt：一种是 System Prompt，该种 Prompt 内容会在整个会话过程中持久地影响模型的回复，且相比于普通 Prompt 具有更高的重要性；当取值较高接近 1 时，预测的随机性会较高，所有词被选择的可能性更大，会产生更有创意、多样化的文本，更有可能生成不寻常或意想不到的词。{ "system prompt": "你是一个幽默风趣的个人知识库助手，可以根据给定的知识库内容回答用户的提问，注意，你的回答风格应是幽默风趣的"。
快来学下载Spark环境（保姆级教学）
最新发布
dhdjjfhdghh的博客
10-03 637
Apache Spark 是一个开源的分布式计算系统，它提供了一个快速且通用的集群计算平台。Spark 支持多种数据处理任务，包括批处理、实时流处理、机器学习和图形处理等。Spark 的设计目标是为了提高大规模数据处理的速度，它通过在内存中存储数据来加快处理速度，同时也支持磁盘存储。：Spark 通过在来加速数据处理，比传统的磁盘基 MapReduce 框架（如 Hadoop）快得多。
apache spark 3.1.1 版本发布，众多新特性介绍
03-16
Apache Spark 3.1.1版本已经发布，其中包含了许多新特性。以下是一些主要的新特性介绍： 1. 改进的Python API：Spark 3.1.1版本中，Python API得到了大幅度的改进，包括更好的性能、更好的错误处理和更好的Python 3支持。 2. 改进的SQL查询优化器：Spark 3.1.1版本中，SQL查询优化器得到了改进，可以更好地处理复杂的查询，提高查询性能。 3. 新的数据源API：Spark 3.1.1版本中，新增了一些数据源API，包括Delta Lake、MongoDB和Redis等。 4. 改进的流处理API：Spark 3.1.1版本中，流处理API得到了改进，包括更好的性能、更好的容错性和更好的状态管理。 5. 新的机器学习库：Spark 3.1.1版本中，新增了一些机器学习库，包括LightGBM、XGBoost和CatBoost等。 总的来说，Apache Spark 3.1.1版本是一个非常重要的版本，包含了许多新特性和改进，可以帮助用户更好地处理大数据。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值