wodlx_-CSDN博客

原创 Spark 内核调度

Spark的核心是根据RDD来实现的，Spark Scheduler则为Spark核心实现的重要一环，其作用就是任务调度。Spark的任务调度就是如何组织任务去处理RDD中每个分区的数据，根据RDD的依赖关系构建DAG，基于DAG划分Stage，将每个Stage中的任务发到指定节点运行。基于Spark的任务调度原理，可以合理规划资源利用，做到尽可能用最少的资源高效地完成任务计算。最后面的Action算子带了各自的链条，每个产生一个Job，同时每个Job有各种的DAG图。如图便产生3个DAG。

2023-04-09 16:03:59 220

原创 Spark 共享变量

广播变量的作用：分布式RDD和本地集合进行关联使用的时候，降低内存占用以及减少网络I/O传输，提高性能。累加器的作用：分布式代码执行过程中，进行全局累加。

2023-04-06 19:49:42 111

原创 RDD的持久化

RDD的数据是过程数据，RDD之间相互迭代计算，新的RDD的生成代表旧的RDD的消失。RDD的数据只在过程中存在，一旦处理完成，就会从内存中清除。RDD1->RDD2->RDD3->RDD4（RDD4出现，RDD3就消失了）\ \ \ \ \ \ \ \ \ \ ->RDD5（RDD5出现需要的RDD3需要从RDD1重新构建）为了减少重复调用，引入缓存技术。

2023-03-17 16:40:11 125

原创 PySpark RDD 的使用

PySpark RDD 的使用文章目录PySpark RDD 的使用1.1 RDD的创建1.2 RDD算子1.3 常用Transformation算子map算子\textcolor{CornflowerBlue}{map算子}map算子flatMap算子\textcolor{CornflowerBlue}{flatMap算子}flatMap算子reduceByKey算子\textcolor{CornflowerBlue}{reduceByKey算子}reduceByKey算子mapValues算子\tex

2023-03-14 22:28:36 295

原创 Qt学习第四天

Qt 学习第四天4.1 资源文件的添加将图片文件拷贝到项目位置下右键项目 -> 添加新文件 -> Qt -> Qt recourse File res 生成 res.qrc 后双击打开添加前缀添加文件使用 “ : + 前缀名 + 文件名 ”4.2 界面布局例：实现登陆窗口界面学会使用 Qt designer 修改项目中的 ui 文件，可以使用图形界面构建界面可以将一些控件拖入 widget 进行布局，分为水平布局、垂直布局、栅

2022-01-14 21:27:15 160

原创 Qt学习第三天

Qt 学习第三天3.1 QMainWindow 构成 QMainWindow 是一个为用户提供主窗口程序的类，包合一个菜单栏(Menu Bar)、多个工具栏(Tool Bar)、多个铆接部件(Dock Widget)、一个状态栏(Status Bar)及一个中心部件(Central Widget)，是许多应用程序的基础，如文本编编器，图片编辑器等。3.2 QMainWindow 各结构实现首先创建一个基类是 QMainWindow 的类。运行如下测试:#include "mainwi

2022-01-12 21:19:16 170

原创 Qt学习第二天

Qt 学习第二天2.1 QPushButton 的运用(按钮) 相关文档：使用前需先引用头文件 #include 。同时为防止汉字乱码，需使用QString::fromLocal8Bit()包裹汉字。 // 第一种运用方法(调用方法传参) QPushButton* btn = new QPushButton; btn->setParent(this); btn->setText(QString::fromLocal8Bit("按钮")); // 第二种运用方法(构

2022-01-09 20:12:19 508

原创 Qt 学习第一天

Qt学习第一天1.1 Qt 简介 Qt 是一个跨平台的 C++ 图形用户界面应用程序框架，它既可以开发 GUI 程序，也可用于开发非 GUI 程序，比如控制台工具和服务器。Qt 是面向对象的框架，且主要用于桌面程序开发和嵌入式开发。1.2 Qt 的优点用 Qt 来开发 Windows 桌面程序有以下优点：简单易学：Qt 封装的很好，几行代码就可以开发出一个简单的客户端，不需要了解 Windows API。资料丰富：资料丰富能够成倍降低学习成本，否则你只能去看...

2022-01-07 17:23:22 776

原创矩阵快速幂与应用

矩阵快速幂矩阵快速幂很好理解，和普通的快速幂差不多，只不过将普通的乘法换成了矩阵的乘法。模板const int MAX = 3;const int mod = 10007;typedef struct{ int m[MAX][MAX];} Matrix;Matrix I = {1, 0, 0, 0, 1, 0, 0, 0, 1};//单位矩阵Matrix P;//基数矩阵Matrix mul(Matrix a, Matrix b)

2020-08-06 11:30:31 216

原创线段树入门与基础应用

线段树入门与基础应用引入线段树是一种二叉搜索树，与区间树相似，它将一个区间划分成一些单元区间，每个单元区间对应线段树中的一个叶结点。使用线段树可以快速的查找某一个节点在若干条线段中出现的次数，时间复杂度为 O(logN)。而未优化的空间复杂度为2N，实际应用时一般还要开4N的数组以免越界，因此有时需要离散化让空间压缩。容易发现，根节点对应的是整个区间[1,10]。若一个节点对应的区间为[l,r]，当l=r是它是一个叶节点，没有左右儿子，否则它一定有左右儿子。左儿子对应的区间是[l,mid

2020-08-01 14:55:07 101

原创 Educational Codeforces Round 92 (Rated for Div. 2) A - LCM Problem

第一次参加codeforces，水了一题就赶紧逃了(つ﹏⊂)。题目大意：给出t组数据，每组数据给出l和r，能否找到x，y满足 l≤x<y≤r and l≤LCM(x,y)≤r.能找到请输出任意解，不能找到输出两个-1。样例：input41 133713 692 488 89output6 714 212 4-1 -1代码我觉得都能看懂，就是根据x是lcm(x,y)的因子暴力搜。#include <bits/stdc++.h>using namespace

2020-07-30 10:34:28 215

原创单源最短路入门(Dijkstra + SPFA)

单源最短路入门(Dijkstra + SPFA)SPFASPFA很像BFS(1)起点s入队，计算它所有邻居到s的最短距离(当前最短距离，不是全局最短距离，把计算一个节点到s的最短路径称为更新状态)。把s出队，状态有更新的节点入队。也就是说队列中只处理更新的节点，其他节点无影响不处理。(2)现在队列头部是s的一个邻居u。弹出u，更新其他所有邻居的状态，把其中有变化的节点入队。(3)这里要注意后面计算中u可能还会更新，因此只要节点状态有变化，就可以入队处理。(4)继续上述过程，直到队列为空。但是

2020-07-25 12:03:29 163

原创树状数组入门与基础应用

树状数组入门与某些应用介绍树状数组或者二叉索引树也称作BIT；它的查询和修改的时间复杂度都是O(log(n))，空间复杂度则为O(n)，这是因为树状数组通过普通数组线性结构转化成树状结构，从而进行跳跃式扫描。通常使用在高效的计算数组的前缀和，区间和。先通过这个例子引出树状数组的概念。对长度为n的数列{a1,a2,a3,…an},进行如下操作。(1)修改元素函数add( x , d )：把ax加上d(2)求和函数sum( x )：即求前x项数的和，区间和[ l , r ]便为sum( r ) -

2020-07-24 21:17:10 106

原创 LOJ 10117「一本通 4.1 练习 2」简单题 (树状数组）

LOJ 10117「一本通 4.1 练习 2」简单题 (树状数组）题目链接:LOJ 10117「一本通 4.1 练习 2」简单题区间修改+单点查询,用树状数组维护差分数组，从而记录每个点反转的次数。最后单点查询点反转的次数%2即为应得值。#include <bits/stdc++.h>using namespace std;#define lowbit(x) ((x) & -(x))const int N = 100005;int tree[N], b[N];int

2020-07-24 13:41:34 250

原创并查集入门与基础应用

并查集入门与基础应用并查集是一种用来管理元素分组情况的数据结构。并查集可以高效地进行如下操作。查询元素a与元素b是否属于同一集合合并元素a与元素b所在的集合并查集的结构并查集是由树形结构实现的。每个元素代表一个元素，每个集合代表一棵树。在并查集中通常不过多关心树的形状。(1)初始化for (int i = 1; i <= n; i++){ father[i] = i;}//用father[]数组存储父节点,初始每个元素独立成树(2)查询int find(int x){

2020-07-16 21:11:45 92

原创 c++判断一点是否在三角形内，不包括边界

判断一点是否在三角形内，不包括边界介绍用面积法判断的方法。利用面积，如图中Δ ABP+Δ ABC+Δ BPC=Δ ABC则P在三角形Δ ABC内部。面积的计算通过叉积。#include <bits/stdc++.h>using namespace std;typedef struct node{ int x, y;} point;point xl(point a, point b)//向量计算{ point c; c.x = b.x - a.x;

2020-06-21 12:01:49 1089

原创列车调度(set)--一些思路讲解

#include <bits/stdc++.h>using namespace std;set<int>s;int main(){ int num,n; cin>>n; for(int i=0;i<n;i++) { cin>>num; if(s.upper_bound(n...

2020-03-04 15:55:06 376

wodlx_的博客