云计算
kyle0820
这个作者很懒,什么都没留下…
展开
-
资源调度
目标:最大化资源利用率最小化等待时间支持资源配额支持任务抢占1.优先级:当插入高优先级的任务,递归抢占低优先级的资源2.配额(quota)空闲分配...原创 2018-05-03 19:58:38 · 241 阅读 · 0 评论 -
容错机制和规模挑战
故障原因:1.硬件:磁盘(年4%),主板,2.软件:bug,内存访问越界,进程crash,宕机任务调度的故障恢复:appmaster:快照保存instance的分配完成情况;appworker:给另一个fuximaster:软状态:资源请求等:要求下面重发硬状态:作业配置,持续化存储规模挑战:1.多线程异步:异地进程通讯:RPC(远程过程调用协议)在app master中单独给fuximaster...原创 2018-05-03 20:16:38 · 212 阅读 · 0 评论 -
任务调度
1.mapreduce:映射-归约映射:分布式计算归约:统计处理2.任务调度常见问题:数据locality:给包含该instance最多数据的节点去计算数据shuffle:重试:当慢于平均时间触发机制,给另一个节点计算(因为异构)...原创 2018-05-03 19:48:18 · 162 阅读 · 0 评论 -
安全性与性能隔离
保证分布式计算的安全性,使攻击进程无法访问资源1.RPC鉴别消息是否合法:capability访问控制:任意两个角色间有密钥,进程通信前先对密钥动态token(口令):进程级沙箱隔离:无法看到该用户组不需要的资源2.性能隔离,三种虚拟化方法的比较虚拟机(KVM):完全虚拟化,隔离最好;资源配置容易;image,snapshot移动性好;安全性高;内存占用大Docker:可以访问硬件,但docker...原创 2018-05-03 20:43:14 · 503 阅读 · 0 评论