全文共1447字,预计学习时长4分钟
图源:unsplash
Pinterest的工程生产力团队偶然发现了一项能够产生巨大影响的细微改变,这个改变能减少pipeline的建构次数——在git fetch中设置refspec选项能够减少99%的克隆步骤。
Pinterest的工程生产力团队负责为公司组件和部署软件的工程师提供支持。该团队维护基础设施服务,通常需要投入艰辛的努力来将Pinterest的软件迁移到Bazel上,创建Hermez的持续交付平台,并且每天上百次地为monorepo命名。
我们的辛勤付出都是为了使Pinterest软件的开发和交付快速。最近,我们想到微小的细节也能对达成这个目标产生巨大的影响。我们发现常常被忽视的Git选项能显著降低持续集成管线的构建次数。为了了解这一微小变化是如何导致巨大影响的,本文将分享monorepo和pipeline的一些信息。
monorepo及pipeline
Pinterest有六大资源库:Pinboard,Optimus,Cosmos,Magnus,iOS和Android。每一个都是monorepo,包含大量特定语言的服务。Pinborad的存在时间与公司一样长,是最大型的monorepo。如果完整克隆,Pinboard的commit超过350k,存量有20GB。
克隆有大量代码和历史的monorepo非常浪费时间,需要一整天在持续集成管线上进行大量操作。在工作日,仅仅在Pinboard上,就要操作60K多git pull。
大多数Jenkins管线配置脚本(用Groovy书写)初始时处于“Chechout”阶段,需要克隆后续阶段构建和检验的资源库。下图是“Chechout”阶段的范例:
如果直接使用Git CLI,会转化成:
即使用Git进行浅克隆,抓取最后50个commit,而不对所有tag进行抓取,仍不能快速进行这项操作。这是因为没有设置refspec选项。
请注意不要将其设置入管线配置脚本,要让Git执行所有refspec的fetch过程:+refs/heads/*:refs/remotes/origin/*。以Pinboard为例,这个操作能够fetch2500多个branch。
通过添加refspec选项并且指定所关心的ref(本例为master),可以将ref限制在所要关心的branch中,从而节省很多时间。这是它在管线代码中的形式:
这个简单的代码变动减少了99%的克隆次数,最终显著减少了构建次数。通过克隆最大的repo,Pinboard的处理时间从40分钟减少到30秒。
像大多数开发人员生产力团队一样,我们从事能对日常经历产生巨大影响的大型服务。然而,有时对一行代码的修改能给日常工作带来很大的不同,微小的投入能带来巨大的改变。这就是我们想要做的事!
推荐阅读专题
留言点赞发个朋友圈
我们一起分享AI学习与发展的干货
编译组:邓逸瑶、周婷
相关链接:
https://medium.com/pinterest-engineering/how-a-one-line-change-decreased-our-build-times-by-99-b98453265370
如转载,请后台留言,遵守转载规范
推荐文章阅读
长按识别二维码可添加关注
读芯君爱你