- 博客(10)
- 收藏
- 关注
RSS订阅原创 Spark工作机制及任务调度策略
1、Spark运行架构 1.1、运行架构 Spark框架的核心是一个计算引擎，整体来说，它采用了标准master-slave的结构。 如下图所示，它展示了一个Spark 执行时的基本结构。图形中的 Driver 表示 master，负责管理整个集群中的作业任务调度。图形中的 Executor 则是 slave，负责实际执行任务。 2.2、Spark核心组件 2.2.1、Driver Spark驱动器节点，用于执行Spark任务中的main方法...
2021-09-28 20:18:32
1497
原创 Spark性能调优
1、常规性能调优 1.1、常规性能调优方案一：最优资源配置 Spark 性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 可以进行分配的资源如下表所示： 名称 说明 --driver-memory 配置driver内存（影响不大） --executor-memor...
2021-09-28 15:22:18
795
转载 五大常用算法之五：分支限界法
五大常用算法之五：分支限界法 一、基本描述 类似于回溯法，也是一种在问题的解空间树T上搜索问题解的算法。但在一般情况下，分支限界法与回溯法的求解目标不同。回溯法的求解目标是找出T中满足约束条件的所有解，而分支限界法的求解目标则是找出满足约束条件的一个解，或是在满足约束条件的解中找出使某一目标函数值达到极大或极小的解，即在某种意义下的最优解。 （1）分支搜索算法 所谓“分支”...
2018-12-10 15:51:07
932
转载 五大常用算法之四：回溯法
五大常用算法之四：回溯法 1、概念 回溯算法实际上一个类似枚举的搜索尝试过程，主要是在搜索尝试过程中寻找问题的解，当发现已不满足求解条件时，就“回溯”返回，尝试别的路径。 回溯法是一种选优搜索法，按选优条件向前搜索，以达到目标。但当探索到某一步时，发现原先选择并不优或达不到目标，就退回一步重新选择，这种走不通就退回再走的技术为回溯法，而满足回溯条件的某个状态的点称为“回溯点”。...
2018-12-10 15:29:02
283
转载 五大常用算法之三：贪心算法
五大常用算法之三：贪心算法 一、基本概念： 所谓贪心算法是指，在对问题求解时，总是做出在当前看来是最好的选择。也就是说，不从整体最优上加以考虑，他所做出的仅是在某种意义上的局部最优解。 贪心算法没有固定的算法框架，算法设计的关键是贪心策略的选择。必须注意的是，贪心算法不是对所有问题都能得到整体最优解，选择的贪心策略必须具备无后效性，即某个状态以后的过程不会影响以前的状态，只...
2018-12-10 15:19:31
153
转载 五大常用算法之二：动态规划算法
五大常用算法之二：动态规划算法 一、基本概念 动态规划过程是：每次决策依赖于当前状态，又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的，所以，这种多阶段最优化决策解决问题的过程就称为动态规划。 二、基本思想与策略 基本思想与分治法类似，也是将待求解的问题分解为若干个子问题（阶段），按顺序求解子阶段，前一子问题的解，为后一子问题的求解提供了有用的信息。在求解任一子...
2018-12-10 15:01:13
144
转载 五大常用算法之一：分治算法
五大常用算法之一：分治算法 一、基本概念 在计算机科学中，分治法是一种很重要的算法。字面上的解释是“分而治之”，就是把一个复杂的问题分成两个或更多的相同或相似的子问题，再把子问题分成更小的子问题……直到最后子问题可以简单的直接求解，原问题的解即子问题的解的合并。这个技巧是很多高效算法的基础，如排序算法(快速排序，归并排序)，傅立叶变换(快速傅立叶变换)…… 任何一个可以用计算机求...
2018-12-10 14:31:59
128
原创 IO流
一、步骤：创建源 选择流 操作（读取|写出） 释放 二、流 1、节点流：离数据源|程序近的流 (1) 字节流：可以处理一切（纯文本、音频、视频等） 1）输入流：InputStream\FileInputStream\ByteArrayInputStream ...
2018-08-06 19:30:04
110
原创 java多线程
一、概念 二、多线程的创建 1、继承thread，重写run方法（线程体） 2、使用线程：创建线程子类对象，对象调用start（），线程启动。（调用run（），只是普通方法的调用，并不是启动线程；调用start（），交给cup分配时间片去处理，内部会自己调用run（）） 3、静态代理设计模式： 真实角色（真实类）： 代理角色（代理类）：持有真实角色的引用（将真实类的引用作为代理类的成员...
2018-08-04 18:09:49
94
原创 java容器与集合
泛型 泛型类：声明时使用泛型，运行时检查泛型。 T type表示类型 K V 分别表示键值中的key value E 代表element 3.使用时注意类型： (1) 泛型只能使用引用类型，不能使用基本类型 (2) 字母，泛型声明时不能使用静态属性|静态方法上（编译时检查...
2018-08-04 18:04:35
367
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人