从腾讯开发转岗,已是运维人十载

最近几年随着云计算的兴起和DevOps理念的流行,软件工程师领域有关“运维也要会开发”、“运维要自动化”、甚至“运维工程师要失业”这样的话题开始被越来越多的提起并讨论。

InfoQ曾经采访过腾讯资深专家赵建春,他是从开发转岗运维的工程师。运维工作的界限将产生怎样的变化?运维工程师未来的职业发展应该如何规划?运维工程师为了适应时代和技术的变化需要去学习什么?让我们听听他的观点。

嘉宾简介
赵建春(Coati),社交网络事业群运维总监;腾讯社交网络运营部助理总经理、技术运营通道会长、专家工程师。 04年加入腾讯,先后从事过研发、运维、数据方面的建设和管理工作。06年后和团队一起专注于技术运维,负责腾讯社交网络事业群社区类Web业务的运维和建设工作至今,经历了业务规模从数十台设备到数万台设备的快速发展历程。过程中Coati在运维环境标准化,业务Set化,运维自动化及多地分布式部署等方面积累了丰富的实战经验。

InfoQ:Coati你自己是开发转运维的背景,当时是什么因素导致你决定要做这个转变?

Coati: 刚进入公司的时候,我主要做QQ交友、QQ音乐等业务的开发工作。那时候的这些业务的规模还比较小,后来非常幸运的参与到一个新项目——QQ空间的开发,负责日志和留言版2个模块。这个项目成为后来引领中国Web 2.0 的标志性SNS产品,非常受欢迎。顺利完成我所负责的模块、QQ空间发布之后,我又以项目经理的角色,和另外4名同事一起,共同完成并上线了当时为企业版QQ(TMQQ)定制的简洁版空间izone。

在当时,还没有太多可以让用户个性化展现自己的SNS类产品,QQ空间这种满足QQ用户个性化展现自己的产品呈现出爆发式的增长。很快,服务的稳定性和速度出现很大挑战,故障不断。于是,团队决定暂停大功能版本的开发一段时间,把团队分成两部分,一部分同事负责性能优化,一部分负责运营版本开发。我被安排做为运营版本开发的负责人,一方面负责日常运营版本的开发,同时为了保障产品质量,我们在做业务开发的同时还做了很多监控、容量管理、发布流程优化、编译自动化和灰度扩容迁移等工具和系统。

2006年开始公司正好在全公司推广D/O分离,也在我所在的业务系统成立了专门的运营部,因为我们运营开发团队承担了几乎所有的运维类工作,所以运营部一直没有人员对口QQ空间业务。后来我和我的团队顺应公司的D/O分离大方向,调到了运营部,转型为业务运维,走到了技术领域一个更加细分的领域。

InfoQ:你如何对运维的工作进行划分?比如,哪些工作属于运维,哪些属于DBA,哪些属于研发,哪些属于测试?在运维当中,哪些属于基础运维,哪些属于应用运维?在你负责的部门,是如何对运维工程师进行分工的?

Coati: 我们有个两个理念,我也常给团队同事讲,叫做:

  • 减少运维对象

  • 专业分工

专业分工这点打一个比方,自打有人类以来就有了建筑行业。如果我们现在看建筑这个行业,1-2个人也可以建造出一个结构简单的木屋或土屋。但如果要建造一个类似腾讯大厦的几十层的摩天大楼,必须靠一个分工细致的、在建筑业各个领域都很强的团队精密合作才可以。常常听到房地产相关的报道说如果房地产泡沫破裂,会影响上下游几十个行业,可见建筑领域的行业细分是多么的细致。

运维相比传承了几千年的房地产行业来说,发展才十年,也是互联网技术行业里分工最不明确的一个岗位,几乎什么都要懂,什么都要做,就好比让我们每个人都具备建造一座房子所有相关的知识和能力。但很明显,我们任何一个人都无法建造一座腾讯大厦,只能通过专业细分,做精一个领域,只有这样,我们才能成为某一领域的专家。

减少运维对象,实际上是专业分工的手段。我们把服务器类型、机房数量、QA流程、容错架构、软件架构等都看成抽象的、需要运维去管理的“对象”,希望这些对象越少越好。因为对于运维来说,人员数量总是远少于开发的,对象越少,我们越是能够对这些对象进行更加深入和全面的掌握。而这种寻找、合并同类项的过程,其实也是专业细分的手段。

目前我们的团队是按这样的方式划分的:

  • 接入层运维团队:负责所有从用户客户端发起-域名-lvs/tgw-web服务器这个链条上的服务

  • 数据层运维团队:负责后端从最底层的数据存储-cache-cache前面的access层。我们不叫DBA,因为DBA的概念有些局限了

  • 逻辑层运维团队:中间最复杂的各类架构的TCP/UDP的socket服务器,运维成立了一个专门的团队,推广通用socket服务器,让开发只写这个服务器里面的业务逻辑部分,就像Web服务器上的CGI一样。这个团队可以叫做逻辑层运维团队,他们的职责之一就是让开发个性化的socket server越少越好,最好没有

  • 业务运维团队:三层分开维护后,需要有人或机制让3层很好的协调工作和运转。这个从人员方面讲就是业务运维团队。虽然我们希望没有开发个性化的socket server,但这毕竟是个美好的设想,实际环境中依然会有个性化,于是这个团队就负责这些个性化的socket server,同时协调3层运维团队来为业务整体提供服务,可以说是对口业务的运维线PM

  • 基础运维团队:从技术角度来看,三层的访问需要访问的串接,我们使用类似DNS的一个名字服务组件来串接三层的访问关系、一些三层都使用的公共运维和管理组件、以及和网络服务器接口的一些工作

  • 网络和系统运维团队:由于公司有专门的网络和服务器团队支持各个BG,所以我们在网络和服务器部分的精力不用投入太多。

总结来说,就是接入层运维、逻辑层运维、基础服务运维、数据层运维、业务运维和系统运维几大分类。这个分类也会随着规模的变化不断细化。

我们有对每个运维小组团队核心工作的明确定义,我在这里摘录其中一些条目让大家大概了解一下。从这些条目可以看出,分层的团队都有一条相同的能力要求——就是让自己所维护的对象变的一致和尽可能的少,从而提高效率。而每个团队也要有自己核心的建设方向,以便沉淀相关的能力。比如业务运维团队更多的是项目规划协调和业务架构优化分布能力。

接入运维
    1. 全面就近的业务接入覆盖及技术加速、节流
    2. 用户接入问题的全方位诊断系统和方法
    3. 组件的高度统一以及统一后的经验最大化利用,成本及质量最优、批量和一致的操作,提供必要的自助化能力
逻辑运维:
    1. 标准组件推广,尽可能减少特殊组件
    2. 三层共同需求的服务和组件的维护,提供透明化服务,承上启下
    3. 组件的高度统一以及统一后的经验最大化利用,成本及质量最优、批量和一致的操作,提供必要的自助化能力
存储运维:
    1. 硬盘和内存数据的快速迁移、分裂、组合能力
    2. 清晰明确的仓库资源归属、成本核算等,使服务信息透明(数据集群化后的需要)
    3. 组件的高度统一以及统一后的经验最大化利用,成本及质量最优、批量和一致的操作,提供必要的自助化能力
    4. 保障数据100%安全

业务运维: 

    1. 协调运维团队资源,支持业务项目对运维团队的整体需求;对业务整体的质量、成本负责

    2. 规划科学合理的业务分布、推进,实施业务的架构革新、改造

    3. 规划建设以业务视图为视角的运维工具和监控平台

我们的运维和测试之间的分工比较明确,很少有交叉。由于我们有比较完善的发布和自动化测试系统,所以测试同事负责了Web类版本从开发到测试,到预发布环境的所有工作,并且在版本测试通过后,由测试发布外网。而运维则负责全新业务搭建、扩容迁移、以及后台服务器的更新(更新量小)。

和开发之间的界限,就是现网由运维负责,但对于故障的响应和处理,我们一直有个传统就是开发和运维都要及时第一时间响应,以加快故障的修复效率,这个方面也非常感谢开发团队同事的长期支持。

InfoQ:为大规模系统做运维,应该是始于大型互联网公司的兴起,腾讯在大规模系统运维方面已经积累了很多年的经验。从您个人的经验,您感觉大规模系统运维的思路、理念在过去几年有什么变化?

Coati: 确实,如前面所讲,在腾讯我感觉我们是从06年开始起步专门做业务运维的。以我所在团队为背景说起过去几年的变化,有这几个大概的阶段:

  • 06年前:业务规模普遍很小,当时所有开发同事自己维护自己负责的模块,甚至出问题后还要跑到机房去自己重启服务器,可以算作运维的原始时代

  • 06~08年:各类国外ITIL管理理念引入的时代,突发事件、工作台、问题管理等流程系统。而运维也是不断的将自身的工作通过工具建设来提升,把终端操作转移到前端界面可视化操作。可以认为是工具和流程快速完善的一个阶段。

  • 08~12年:随着很多业务逐渐由百万级在线变成千万级甚至亿级同时在线,业务的SET化、全国分布、容错容灾、异地调度等架构优化成为除了工具效率改进工作外的一个重点。这个阶段可以说是建立了海量运维架构体系的几年,工具建设和架构改进互相促进发展。

  • 12年到现在:我想大家都在研究和努力怎么把业务云化,尝试做到不做干预的扩缩容变更。同时我们致力利用运维更全的信息、更多的数据的平台积累优势,让运维同事能够帮助到业务目标,促使业务成功。我们提出服务产品、服务研发、服务自己的口号,把产品放在第一位,自己放在最后一位,让大家以业务成功为导向,而不是一直关注自己的效率问题,只关注自动化运维,把自己放在第一位。比如对资源消耗型业务分析top用户资源使用,让产品团队可以更好的设置商业化方案。

InfoQ陪伴技术人,

用优质的技术文章作长情的告白。

技术提升世界的活交给你们了,

高效开发运维在这里给你们提供后勤补给。

0?wx_fmt=jpeg

长按二维码识别关注,领取优质文章补给~

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值