- 博客(15)
- 收藏
- 关注
RSS订阅原创 【读懂面经中的源码】SPARK源码解析——broadcast原理
【读懂面经中的源码】SPARK源码解析——broadcast原理。这是读源码的博客，主要从面经出发，深入理解broadcast机制，期间通过源码加深理解面经中提到的原理。文章包括四部分，分别是面筋部分、广播变量的创建和使用、广播变量创建流程以及广播变量读取流程。文章将有助于读者同学理解内存管理机制原理，希望能够帮助到各位读者同学！！！
2023-08-29 21:48:10
321
1
原创 【读懂面经中的源码】SPARK源码解析——BlockManager管理
【读懂面经中的源码】SPARK源码解析——BlockManager管理。这是读源码的博客，主要从面经出发，深入理解内存、存储相关的BlockManager管理，期间通过源码加深理解面经中提到的原理。文章包括三部分，分别是面筋部分、各个组件的解析以及完整存取、删除block过程。文章将有助于读者同学理解block内存、存储相关思想及原理，希望能够帮助到各位读者同学！！！
2023-08-19 00:26:19
304
原创 【读懂面经中的源码】SPARK源码解析——内存管理机制
【读懂面经中的源码】SPARK源码解析——内存管理机制。这是读源码的博客，主要从面经出发，深入理解内存管理机制，期间通过源码加深理解面经中提到的原理。文章包括三部分，分别是面筋部分、UnifiedMemoryManager的内存分配和动态占用机制。文章将有助于读者同学理解内存管理机制原理，希望能够帮助到各位读者同学！！！
2023-08-16 19:03:28
182
1
原创 【读懂面经中的源码】SPARK源码解析——checkpoint过程
【读懂面经中的源码】SPARK源码解析——checkpoint过程。这是读源码的博客，主要从面经出发，深入理解Spark的checkpoint过程，期间通过源码加深理解面经中提到的原理。文章包括三部分，分别是面筋部分、checkpoint的调用、checkpoint的读操作。文章三部分的讲解将有助于读者同学理解Spark任务checkpoint的调用、checkpoint的读操作详细原理，希望能够帮助到各位读者同学！！！
2023-08-14 17:23:15
176
原创 【读懂面经中的源码】SPARK源码解析——Spark任务提交、调度、执行过程
【读懂面经中的源码】SPARK源码解析——Spark任务提交、调度、执行过程。这是读源码的博客，主要从面经出发，深入理解Spark任务提交、调度、执行过程，期间通过源码加深理解面经中提到的原理。文章包括三部分，分别是面筋部分、Spark任务提交、SparkContext初始化、Executor启动、Task启动的部分。文章三部分的讲解将有助于读者同学理解Spark任务提交、调度、执行详细原理，希望能够帮助到各位读者同学！！！
2023-08-12 14:20:54
782
1
原创 【读懂面经中的源码】SPARK源码解析——shuffle过程
【读懂面经中的源码】SPARK源码解析——shuffle过程。这是我的第一篇读源码博客，主要从面经出发，深入理解spark shuffle过程，期间通过源码加深理解面经中提到的原理。文章包括三部分，分别是面筋部分、shuffle write、shuffle read部分。文章三部分的讲解将有助于读者同学理解spark shuffle详细原理，希望能够帮助到各位读者同学！！！
2023-08-08 21:21:51
910
原创 Spark3性能调优（四）---AQE-DPP-Hint增强-故障排查问题
本篇文章是Spark3性能调优系列文章之：Spark3性能调优（四）---AQE-DPP-Hint增强-故障排查问题，是本人的学习笔记系列文章其一。详细讲了“AQE自适应查询执行“、”DPP“、”Hint增强“、”故障排查问题”几个方面的原理和实验流程，可为Spark初学者展现一定的Spark调优技巧。
2023-05-12 12:31:58
805
原创 Spark3性能调优（三）---Job优化
本篇文章是Spark3性能调优系列文章之：Spark3性能调优（三）---Job优化，是本人的学习笔记系列文章其一。详细讲了“Job优化”方面的原理和实验流程，可为Spark初学者展现一定的Spark调优技巧。
2023-05-12 12:24:52
706
原创 Spark3性能调优（二）---数据倾斜
本篇文章是Spark3性能调优系列文章之：Spark3性能调优（二）---数据倾斜，是本人的学习笔记系列文章其一。详细讲了“数据倾斜”方面的原理和实验流程，可为Spark初学者展现一定的Spark调优技巧。
2023-05-12 12:13:51
481
原创 Spark3性能调优（一）---资源调优-SparkSQL语法优化
本篇文章是Spark3性能调优系列文章之：Spark3性能调优（一）---资源调优-SparkSQL语法优化，是本人的学习笔记系列文章其一。详细讲了“Explain 查看执行计划”、“资源调优”、“SparkSQL语法优化”几个方面的原理和实验流程，可为Spark初学者展现一定的Spark调优技巧。
2023-05-12 12:06:05
914
原创 基于SPARK的淘宝用户购物行为可视化分析（调优版一）
基于SPARK的淘宝用户购物行为可视化分析调优版，实验基于搭建的虚拟机集群，针对其中一条SQL转换成RDD形式进行调优，调优前后运行时间从200s降低至140s，有点效果！
2023-04-26 10:53:13
820
原创 基于SPARK的淘宝用户购物行为可视化分析
这篇文章旨在练习大数据Spark操作，做一些简单的分析。后续阶段将基于三台虚拟机情况下进行调优，以期实现性能最优化。
2023-04-19 13:14:08
2832
2
原创 用大白话描述排序算法与实现（C语言）
排序算法描述与实现（C语言）本篇博客描述了部分简单的排序算法，希望能通过简单易懂的文字将算法的思想介绍给大家，同时也作为自己技术的积累，也方便自己日后对排序算法的复习与提升。本篇博客目录如下：插入类排序1.直接插入排序2.折半插入排序交换类排序1.冒泡排序2.快速排序选择类排序1.简单排序2.堆排序二路归并排序直接插入排序算法执行流程设置原始序列：...
2020-01-28 15:10:01
251
原创 剑指offer数组中出现次数超过一半的数字的二种解法
刷剑指offer的过程中遇到一道题，借鉴了一位大佬的博客会找到3种解法，于是把这二种写法记录在这里。题目数组中有一个数字出现的次数超过数组长度的一半，请找出这个数字。例如输入一个长度为9的数组{1,2,3,2,2,2,5,4,2}。由于数字2在数组中出现了5次，超过数组长度的一半，因此输出2。如果不存在则输出0。解法一由于要求出出现次数超过长度一半的的数字。我们可以先对其排序，然后可以发现...
2019-11-09 11:56:21
153
原创 用python解决五格与起名问题
用python解决五格与起名问题大二的暑假闲来无事，恰逢python自学刚刚入门，为了巩固知识，于是想通过python来解决日常生活中的一些问题。关于姓名的学问——五格如何取一个好听又好看的名字确实是一个难题。取名字的方法也是千奇百怪，数不胜数。在这里主要是通过五格的判断方法来取名字。主要参考资料为《姓名与人生》（高山翁译著），以及通过各种姓名五格测试网站来测试自动生成的姓名是否符合该要求。...
2019-07-08 23:01:20
1351
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人