- 博客(4)
- 收藏
- 关注
RSS订阅原创 基于蚁群算法的 Storm 集群资源感知任务调度
用户提交的 Topology 中的 components 可分成三类:输入层、计算层、输出层，而每一层对资源的需求都不一样［8］:(1)输入层:如果数据来自于磁盘，则需要更多的磁盘资源;若来自于网络，则需要更多的带宽资源。(2)计算层:该层任务的特点是要进行大量的计算，消耗 CPU 资源，需要更多的 CPU 和内存。(3)输出层:类似于输入层，可能需要更多的磁盘将数据存入本地或者是更多网络带宽将数据传输给别的服务器。Storm 默认调度器在调度时没能将集群节点所拥有的资源和任务的实际需求相结合，
2021-11-07 15:29:39
159
原创 优先级论文
《云计算中的多DAG工作流可抢占式调度策略研究》提出了抢占式多 DAG 工作流三层动态调度模型。通过采用依据用户不同Qo S 需求将 DAG 工作流进行优先级划分的方法，相同优先级 DAG 工作流的任务依据 Slowdown 因子进行资源抢占，保证了作业调度的公平性。不同优先级的作业调度使用基于阈值的回填算法，确保资源的利用率得到有效提高。通过研究学习开源的 Hadoop 云计算平台中公平调度算法，结合 MPS 算法中的抢占策略，对 MPS 中的调度模型及抢占策略进行了优化，提出抢占式公平调度策略—
2021-11-07 11:07:09
136
原创 A Priority Based Resource Scheduling Technique for Multitenant Storm Clusters
知识：隔离计划程序，即在storm群集中运行多个拓扑的现成storm计划程序，使用静态元数据将资源分配给拓扑，其中要分配给每个拓扑的资源数量保持不变，并且在不重新启动群集的情况下无法更改。 组件的任务数量是在开发时预定义的，不能在运行时更改，而执行器和工作进程的数量可以通过名为“再平衡”的storm功能更改，该功能允许运行时从拓扑扩展到更多的执行器或工作进程 隔离调度器需要分配给每个拓扑的机器数量需要在配置文件中配置为元数据，其中列出的拓扑将是“隔离的”，资源将优先分配给隔离的拓扑。问题：...
2021-11-05 11:48:46
84
原创 11.4日知识点汇总
节点的计算能力评估公式：其中： core代表一个处理器的总内核数cycles/s:代表一个内核的时钟频率FLOPS除以cycle表示每个周期的FLOPS数
2021-11-04 23:24:22
64
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人