K8s概述:几种集群方案的对比

marathon+mesos,一开始是给大数据组件部署用的,这个框架是一个双层调度框架,侧重于底层资源管理。需要自己实现任务调度。

下面重点对比一下k8s和mesos。

k8s vs mesos

k8s

k8s一些概念

  • Node:资源节点的抽象

  • Pod:pod为kubernetes的最小管理单元,一个pod中可以部署多个容器,通常建议是一个容器

  • Daemonset:每个node上有一个,比如使用gpu、联通上的seman服务

  • Statefulset:解决有状态服务,保证部署和scale的顺序。比如mysql。

  • Deployment:一个Deployment通过多个ReplicaSet管理pod,一个Replica Set拥有一个或多个Pod。滚动升级的时候是用新的rs替代旧的rs

  • Endpoint:一个资源对象,用于记录一个service对应的所有pod的访问地址

  • Service:容器互联或者对外暴露的服务。Service通过label选择Pod,这些 Pod 通过endpoints 暴露出来。通过与具体后端pod解耦,使得后端pod迁移时访问不受影响。

k8s组件

  • kube-dns:用Service向集群内部提供服务的

  • Etcd:存储配置数据库。存储网络的配置信息和各种对象的状态和元信息配置

  • kube-apiserver:k8s主节点的管理中心,整个集群的控制入口。它有助于各个组件之间的通信,从而保持集群的健康。

  • kube-controller-manager:确保通过向上和向下扩展工作负载来使群集的期望状态与当前状态相匹配。

  • kube-scheduler:将工作负载放置在适当的节点上。

  • Kubelet:从API服务器接收pod规范并管理在主机中运行的pod。

kubelet会在API Server上注册节点信息,定期向Master汇报节点资源使用情况,并通过cAdvisor监控容器和节点资源。可以把kubelet理解成【Server-Agent】架构中的agent,是Node上的pod管家。

scheduler负责集群的资源调度,为新建的pod分配机器。这部分工作分出来变成一个组件,意味着可以很方便地替换成其他的调度器。

controller-manager负责执行各种控制器,目前有两类:

  • endpoint-controller:定期关联service和pod(关联信息由endpoint对象维护),保证service到pod的映射总是最新的。

  • replication-controller:定期关联replicationController和pod,保证replicationController定义的复制数量与实际运行pod的数量总是一致的。

K8s概述:几种集群方案的对比

提交流程

提交一个pod的流程

  1. 用户提交pod,APIServer记录到etcd中;

  2. scheduler周期性查询APIServer,以获取未绑定的pod,尝试为pod分配节点;

  3. scheduler调度:首先过滤不符合pod资源要求的主机。然后考虑整体优化策略对主机打分,比如使用最低负载,使用分散主机等。最后选择最高分的主机存储绑定信息到etcd中;

  4. kubelet周期查询绑定对象,获取需要在本机启动的pod并通过docker启动。

K8s概述:几种集群方案的对比

提交一个controller的流程

  1. 用户提交一个controller;

  2. APIServer把controller对象保存到etcd中;

  3. controller周期性查询APIServer获取未绑定的pod:APIServer获取每个节点上绑定的kubeletkubelet请求docker获取pod状态kubelet返回pod状态

  4. controller创建pod

K8s概述:几种集群方案的对比

提交一个service的流程

  1. APIServer创建service对象写入etcd。

  2. controller不断扫描service对应的pod。

  3. controller调用APIServer创建对应的访问端点endpoint。

  4. APIServer将endpoint对象写入etcd。

  5. proxy不断发现有没有可以放在自己上面的转发规则,如果有则创建socket监听端口,并且创建相应的iptables规则。

K8s概述:几种集群方案的对比

mesos

mesos+marathon

mesos复制资源管理,主要有以下四个组件:

  • Agent:即Slave,上报资源

  • Master:接入framework和slave

  • Framework:如Hadoop、Marathon,修改调度器,获取Mesos分配给自己的资源

  • Executor:如何启动task

这里面有两层的Scheduler,一层在Master里面,allocator会将资源公平的分给每一个Framework,二层在Framework里面,Framework的scheduler将资源按规则分配给Task。其它框架的调度器是直接面对整个集群,Mesos的优势在于,第一层调度先将整个Node分配给一个Framework,然后Framework的调度器面对的集群规模小很多,然后在里面进行二次调度,而且如果有多个Framework,例如有多个Marathon,则可以并行调度不冲突。

以下面这个调度图为例子:

  • Slave1 向 Master 报告,有4个CPU和4 GB内存可用。

  • Master 发送一个 Resource Offer 给 Framework1 来描述 Slave1 有多少可用资源。

  • FrameWork1 中的 FW Scheduler会答复 Master,我有两个 Task 需要运行在 Slave1,一个Task 需要<2个cpu,1 gb内存=“”>,另外一个Task需要<1个cpu,2 gb内存=“”>。

  • 最后,Master 发送这些 Tasks 给 Slave1。然后,Slave1还有1个CPU和1 GB内存没有使用,所以分配模块可以把这些资源提供给 Framework2。

K8s概述:几种集群方案的对比

DC/OS

DC/OS是以Mesos为内核,加上marathon和chronos作为运行和管理任务和应用的框架。它集成了许多大数据处理框架(hadoop、spark等)。

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
img
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以添加V获取:vip1024b (备注Java)
img

总结

蚂蚁面试比较重视基础,所以Java那些基本功一定要扎实。蚂蚁的工作环境还是挺赞的,因为我面的是稳定性保障部门,还有许多单独的小组,什么三年1班,很有青春的感觉。面试官基本水平都比较高,基本都P7以上,除了基础还问了不少架构设计方面的问题,收获还是挺大的。


经历这次面试我还通过一些渠道发现了需要大厂真实面试主要有:蚂蚁金服、拼多多、阿里云、百度、唯品会、携程、丰巢科技、乐信、软通动力、OPPO、银盛支付、中国平安等初,中级,高级Java面试题集合,附带超详细答案,希望能帮助到大家。

蚂蚁金服5面,总结了49个面试题,遇到的面试官都是P7级别以上

一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
img

动力、OPPO、银盛支付、中国平安等初,中级,高级Java面试题集合,附带超详细答案,希望能帮助到大家。

[外链图片转存中…(img-ucwsvrdA-1712856903948)]

一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
[外链图片转存中…(img-LTNQxM5j-1712856903948)]

  • 9
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值