减少99%克隆:一行代码如何做到?


全文共1447字,预计学习时长4分钟

图源:unsplash

Pinterest的工程生产力团队偶然发现了一项能够产生巨大影响的细微改变,这个改变能减少pipeline的建构次数——在git fetch中设置refspec选项能够减少99%的克隆步骤。

 

Pinterest的工程生产力团队负责为公司组件和部署软件的工程师提供支持。该团队维护基础设施服务,通常需要投入艰辛的努力来将Pinterest的软件迁移到Bazel上,创建Hermez的持续交付平台,并且每天上百次地为monorepo命名。

 

我们的辛勤付出都是为了使Pinterest软件的开发和交付快速。最近,我们想到微小的细节也能对达成这个目标产生巨大的影响。我们发现常常被忽视的Git选项能显著降低持续集成管线的构建次数。为了了解这一微小变化是如何导致巨大影响的,本文将分享monorepo和pipeline的一些信息。

 

monorepo及pipeline

 

Pinterest有六大资源库:Pinboard,Optimus,Cosmos,Magnus,iOS和Android。每一个都是monorepo,包含大量特定语言的服务。Pinborad的存在时间与公司一样长,是最大型的monorepo。如果完整克隆,Pinboard的commit超过350k,存量有20GB。

 

克隆有大量代码和历史的monorepo非常浪费时间,需要一整天在持续集成管线上进行大量操作。在工作日,仅仅在Pinboard上,就要操作60K多git pull。

 

大多数Jenkins管线配置脚本(用Groovy书写)初始时处于“Chechout”阶段,需要克隆后续阶段构建和检验的资源库。下图是“Chechout”阶段的范例:

 

 

如果直接使用Git CLI,会转化成:

 

 

即使用Git进行浅克隆,抓取最后50个commit,而不对所有tag进行抓取,仍不能快速进行这项操作。这是因为没有设置refspec选项。

 

请注意不要将其设置入管线配置脚本,要让Git执行所有refspec的fetch过程:+refs/heads/*:refs/remotes/origin/*。以Pinboard为例,这个操作能够fetch2500多个branch。

 

通过添加refspec选项并且指定所关心的ref(本例为master),可以将ref限制在所要关心的branch中,从而节省很多时间。这是它在管线代码中的形式:

 

 

这个简单的代码变动减少了99%的克隆次数,最终显著减少了构建次数。通过克隆最大的repo,Pinboard的处理时间从40分钟减少到30秒。

 

像大多数开发人员生产力团队一样,我们从事能对日常经历产生巨大影响的大型服务。然而,有时对一行代码的修改能给日常工作带来很大的不同,微小的投入能带来巨大的改变。这就是我们想要做的事!


推荐阅读专题

留言点赞发个朋友圈

我们一起分享AI学习与发展的干货

编译组:邓逸瑶、周婷

相关链接:

https://medium.com/pinterest-engineering/how-a-one-line-change-decreased-our-build-times-by-99-b98453265370

如转载,请后台留言,遵守转载规范

推荐文章阅读

ACL2018论文集50篇解读

EMNLP2017论文集28篇论文解读

2018年AI三大顶会中国学术成果全链接

ACL2017论文集:34篇解读干货全在这里

10篇AAAI2017经典论文回顾

长按识别二维码可添加关注

读芯君爱你

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值