2022年02月_Shockang

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Spark 3.2.0 版本新特性 push-based shuffle 论文详解（二）背景和动机

Spark 3.2.0 版本新特性 push-based shuffle 论文详解（二）背景和动机前言本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见大数据技术体系目录Spark 3.2.0 版本新特性 push-based shuffle 论文详解（一）概要和介绍Spark 3.2.0 版本新特性 push-based shuffle 论文详解（二）背景和动机Spark 3.2.0 版本新特性 p

2022-02-27 23:14:41 2678

原创 Spark SQL 工作流程源码解析（三）analysis 阶段（基于 Spark 3.3.0）

前言本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见大数据技术体系目录Spark SQL 工作流程源码解析（一）总览（基于 Spark 3.3.0）Spark SQL 工作流程源码解析（二）parsing 阶段（基于 Spark 3.3.0）Spark SQL 工作流程源码解析（三）analysis 阶段（基于 Spark 3.3.0）Spark SQL 工作流程源码解析（四）optimization

2022-02-24 22:35:24 5882 12

原创一篇文章了解 Spark 3.x 的 Catalog 体系

前言本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见大数据技术体系关于数据库的一些基本概念Schema（模式）数据库 Schema 有两种含义。一种是概念上的 Schema，指的是一组 DDL 语句集，该语句集完整地描述了数据库的结构。还有一种是物理上的 Schema，指的是数据库中的一个名字空间，它包含一组表、视图和存储过程等命名对象。物理 Schema 可以通过标准SQL语句来创建、更新和修改。

2022-02-21 22:35:11 5490

翻译 Spark 3.x 版本的 Table Catalog API 是怎样的？

原文本文翻译自《SPIP: Spark API for Table Metadata》背景和动机DataSource v2 是用来读取和写入数据的新型 API ，旨在支持更多外部数据存储，并且可以更灵活地集成这些存储。关于 DataSource v2 请参考我的博客——Spark DataSource API v2 版本有哪些改进？v1 版本和 v2 版本有什么区别？但是，v2 API目前缺少该集成的关键部分：在外部存储中创建，更改和删除表的方法。SQL 和 DataFrames 都支持 C

2022-02-21 21:35:16 1603

原创 Spark 3.2.0 版本新特性 push-based shuffle 论文详解（一）概要和介绍

前言本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见大数据技术体系目录Spark 3.2.0 版本新特性 push-based shuffle 论文详解（一）概要和介绍Spark 3.2.0 版本新特性 push-based shuffle 论文详解（二）背景和动机Spark 3.2.0 版本新特性 push-based shuffle 论文详解（三）系统设计Spark 3.2.0 版本新特性 pus

2022-02-19 23:21:57 1964 4

原创一篇文章了解 Presto

前言本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见大数据技术体系Presto 是什么？Presto 是一个开源的分布式 SQL 查询引擎，用于 GB 到 PB 级别的各种大小的数据源进行交互式的分析查询。Presto 从诞生开始就是为了交互式分析，提供了接近商业数据仓库的速度。它既可支持非关系数据源，例如 Hadoop 分布式文件系统 (HDFS)、Amazon S3、Cassandra、MongoD

2022-02-19 23:16:47 1106

翻译 Spark 3.2.0 版本新特性 push-based shuffle 的背景和动机

原文本文翻译自 Spark 3.2.0 版本新增特性 push-based shuffle的 SPIP。SPIP: Support push-based shuffle to improve shuffle efficiency背景和动机在 Spark 计算基础设施的大规模部署中，Spark Shuffle 正在成为潜在的扩展瓶颈和集群效率低下的原因。在 YARN 上进行大规模部署时，人们通常启用 Spark 外部 Shuffle 服务，并将中间 Shuffle 文件存储在硬盘上。由于与 Shu

2022-02-19 13:40:14 572

翻译 Spark DataSource API v2 版本有哪些改进？v1 版本和 v2 版本有什么区别？

# SPIP本文翻译自 [SPIP: Data source API v2](https://issues.apache.org/jira/browse/SPARK-15689)

2022-02-16 22:45:43 1798

原创 LeetCode 131~135

前言本文隶属于专栏《LeetCode 刷题汇总》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构请见LeetCode 刷题汇总Github 配套工程algorithm正文幕布幕布链接126. 单词接龙 II题解My concise JAVA solution based on BFS and DFSBFS+DFSpackage com.shockang.study.algorithm.java.leetcode.leetcode101_

2022-02-13 23:58:48 772

原创 LeetCode 126~130

2022-02-13 23:58:04 708

原创 Spark SQL 工作流程源码解析（二）parsing 阶段（基于 Spark 3.3.0）

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系目录Spark SQL 工作流程源码解析（一）总览（基于 Spark 3.3.0）Spark SQL 工作流程源码解析（二）parsing 阶段（基于 Spark 3.3.0）Spark SQL 工作流程源码解析（三）analysis 阶段（基于 Spark 3.3.0）Spark SQL 工作流程源

2022-02-04 15:22:11 4821 18