[Spark版本更新]--2.1.2发行说明

最新推荐文章于 2023-11-09 08:33:28 发布
最新推荐文章于 2023-11-09 08:33:28 发布
阅读量891 收藏
点赞数
分类专栏： Spark 文章标签： spark
2017年10月，Spark 2.1.2发布，修复了包括子任务、Bug、文档改进和功能增强等多个方面的问题。主要修复了 pyspark 广播失败、Oracle JDBC 创建失败、ScalaReflect 数据集作业失败等错误，还改进了HistoryServer ACL机制和安全性，增强了Spark对XSS漏洞的防护。此外，更新还包括对Spark SQL、Hive支持、Docker测试用例、REST API及文档内容的多项优化。
摘要由CSDN通过智能技术生成

2017年10月09日，Spark官方进行了一次小版本升级。相关的发行说明如下：

一、子任务

  • [ SPARK-21083 ] - 分析空表后存储零大小和行数

二、修复的Bug

了解本专栏 订阅专栏 解锁全文 超级会员免费看
往事随风ing
关注
专栏目录
订阅专栏
[Spark基础]--spark core参数优化(针对spark-2.x.x以下版本)
欢迎来到我的博客，一起探索代码里的世界！
04-17 1285
写在前面文中大部分是摘自美团点评的文章(原文-->https://tech.meituan.com/spark-tuning-basic.html)文中添加了我自己的理解       Spark资源调优       我们在开发完Spark程序之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。先认识下Spark作业的资源使用原理，并...
Spark版本更新信息整理
03-07
Spark版本更新情况整理，有利于大家分析Spark的发展历程，并且可以分析Spark需要完善的方向有哪些
Spark版本发布历史，及其各版本特性
weixin_33727510的博客
11-21 1805
2016年11月5日 We are proud to announce that Apache Spark won the2016 CloudSort Benchmark(both Daytona and Indy category). A joint team from Nanjing University, Alibaba Group, and Databricks Inc...
Spark各个版本WordCount介绍
丰brother的博客
05-22 1050
Spark各个版本WordCount介绍 spark分为3种数据类型：RDD,DataSet,DataFrame 下面介绍使用3种不同数据类型的WordCount程序 初始数据集： a,b c,a d,b a,d 1. 初始变量类型RDD 使用SparkContext 读取文件方法：                 &...
Spark2.0源码之3_Master
一直在路上的求知人。
12-07 841
Spark官网上有一张集群交互图 部署完spark编译包之后，我们执行spark脚本./sbin/start-all.sh，脚本中又调用了其他脚本，就不说这部分内容了，最终JVM会加载Master类。 Master的main函数： private[deploy] object Master extends Loggi
Spark入门教程(2)---开发、编译配置
热门推荐
简单就好
04-11 1万+
本教程源于2016年3月出版书籍《Spark原理、机制及应用》 ，在此以知识共享为初衷公开部分内容，如有兴趣，请支持正版书籍。 Spark为使用者提供了大量的工具和脚本文件，使得其部署与开发变得十分方便快捷，本章将会分别从运行（含集群部署）、开发以及源码编译三个角度，来介绍Spark相关环境的具体配置流程。对于初次接触Spark的读者，建议仅需阅读运行环境部署和开发...
Spark 使用过程中遇见的问题
weixin_42130167的博客
12-18 3254
参考：https://blog.csdn.net/SCGH_Fx/article/details/72529132 ---------------------------------------------------------------------------------------------------------------------------------------------...
红队系列-网络安全知识锦囊(持续更新)
最新发布
aming小老弟
11-09 1198
AJP13是定向包协议。因为性能原因，使用二进制格式来传输可读性文本。AJP协议：WEB服务器通过TCP连接和SERVLET容器连接。为了减少进程生成socket的花费，WEB服务器和SERVLET容器之间尝试保持持久性的TCP连接，对多个请求/回复循环重用一个连接。一旦连接分配给一个特定的请求，在请求处理循环结束之前不会在分配。换句话说，在连接上，请求不是多元的。这个是连接两端的编码变得容易，虽然这导致在一时刻会有很多连接。
【迭代式开发】V1软件需求规格说明书——大数据开发实战项目（二）
子浩的博客
06-05 6358
文章目录前言 前言 如果你从本文中学习到丝毫知识，那么请您点点关注、点赞、评论和收藏 大家好，我是爱做梦的鱼，我是东北大学大数据实验班大三的小菜鸡，非常渴望优秀，羡慕优秀的人。从5月25号我们开始了为期两个月的实习，我们需要做一个大型大数据项目，一个项目由三个学生+一个企业的项目经理完成。请大家持续关注我的专栏，我会每天更新。 专栏：大数据案例实战——大三春招大数据开发 专栏：Spark官方文档解读【Spark2.4.5中英双语】 博客地址：子浩的博客https://blog.csdn.net/weixi
Spark2.1下载包
04-13
spark大数据学习根本，SparkCore,SparkSQL,Spark2.1hadoop2.6压缩包，尽快下载
最新版本Spark2.1.1 java+scala官方API CHM(自己制作，有点小问题)
06-19
最新版本Spark2.1.1 java+scala官方API CHM(自己制作，有点小问题)
spark2.1.1的源码包
06-17
spark的底层源码，版本2.1.1,可以解压后直接使用idea打开，特别注意：里面包含大量的maven依赖，初始加载时，时间较长。
Spark源码阅读02-Spark核心原理之监控管理
Faith_xzc
11-20 1999
监控管理监控管理UI监控实时UI监控历史UI监控Metrics输入源(Metrics Source)介绍输出方式(Metrics Sink)介绍TEST 监控管理 Spark提供了UI监控、Spark Metrics和REST 3种方式监控应用程序运行状态。其中： UI 监控以网页方式提供用户监控调度阶段、存储、运行环境和Executor参数等信息 Spark Metrics通过定制的方式，将应用程序的运行情况以多种方式展现出来， REST则提供API给用户，根据API开发监控应用程序运行的各阶段消息
spark-2.1.1-bin-hadoop2.4 下载
jonathan_joestar的博客
10-27 652
spark-2.1.1-bin-hadoop2.4 下载。
Jupyter notebook运行Spark+Scala
sinat_27634939的博客
04-29 8926
    今天在intellij调试spark的时候感觉每次有新的一段代码，都要重新跑一遍，如果用spark-shell，感觉也不是特别方便，如果能像python那样，使用jupyter notebook进行编程就很方便了，同时也适合代码展示，网上查了一下，试了一下，碰到了很多坑，有些是旧的版本，还有些是版本不同导致错误，这里就记录下来安装的过程。1.运行环境硬件：Mac事先装好：Jupyter n...
Spark2.1新特性
BehandTheTime的博客
12-30 5201
Spark 2.1.0是2.x分支中的第二个重要的发布版本（第一个是2.0.x），在该版本中，structured streaming有重大改进，增加了event mark watermark机制和对kafka 0.10.0的支持等特性，为其用于生产环境又迈进一步。除此之外，Spark其他重大改进集中在易用性、稳定性和改进等方面，解决了1200多个ticket（包括新功能、bug fix以及性
Apache Spark 2.3 重要特性介绍
Hadoop技术博文
03-02 4213
本文翻译自：https://databricks.com/blog/2018/02/28/introducing-apache-spark-2-3.html为了继续实现 Spark 更快，更轻松，更智能的目标，Spark 2.3 在许多模块都做了重要的更新，比如 Structured Streaming 引入了低延迟的连续处理（continuous processing）；支持 stream-to
SPARK 2.2.1 不支持的hive的特性
工欲善其事，必先利其器
02-13 1184
下面是spark2.2.1目前不支持的hive的一些特性。这些特性大多数很少在hive部署中应用。1. hive的主要特性方面不支持表分桶操作：桶简单理解就是使用hash值对hive表进行分区。2. hive深奥特性方面不支持union数据类型(Hive 0.7.0开始才引入，但目前仍对此类型支持不够完全)。 以下是示例，帮助理解该数据类型，CREATE TABLE union_test(foo ...
datax-web-2.1.2
07-27
datax-web-2.1.2是一个版本为2.1.2的DataX Web工具。要安装datax-web-2.1.2，您可以按照以下步骤进行操作： 1. 下载datax-web-2.1.2.tar.gz压缩包，并将其放置在服务器上。 2. 解压缩datax-web-2.1.2.tar.gz文件，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值