使用阿里云函数计算自动同步github fork repo

需求背景

在参与一些开源项目的时候，因为工作流的原因，经常需要从upstream的repo同步改动到自己fork的repo中。一般来说可以使用git命令来完成，大致步骤如下：

git remote add upstream …
git fetch upstream
git pull master
git rebase upstream/master
git push

操作到算不上繁琐，我是本地写了一个shell，自己手动运行。

但是有时候工作在多个repo上，可能会忘记更新，特别是有一些项目活跃度很高，要是一两天没有同步，从旧的master开工的pull request可能就要花大量时间去解决冲突。对于团队项目，那还需要大家轮流负责同步的事情，虽然网上有很多服务可以做到自动同步，但是一般都要求上游项目仓库接入，如果自己只是项目的贡献者，还是比较难去操作的。

Github API和阿里云函数计算

最近看Github API文档的时候发现Github的API支持Patch方法，可以做到一个api调用就完成上面的几个git命令，同时流量消耗很小（发送一个json body就行了）。使用git命令完成这个步骤需要本地有完成的项目，而API调用就不需要。

我们以阿里的Dubbo项目为例，首先需要获取上游项目的最新commit sha。

调用地址：https://api.github.com/repos/apache/incubator-dubbo/branches/master
调用方法：Get

然后下一步发送一个PATCH请求到自己fork的库中，以我自己的repo为例，

调用地址：https://api.github.com/repos/htynkn/dubbo/git/refs/heads/master

调用方法：PATCH
调用请求：
{
"sha": sha,
"force": false
}
发送的body中包含两个字段，一个是上一步获得的sha，一个是是否强制更新的标识符。

这里执行了PATCH方法，所以我们需要一个Github token，这个token需要repo权限。

有了这两个API，我们就可以写一个脚本来手动运行同步操作。如果需要自动化这个步骤，还需要一个云平台来运行。

阿里云函数计算是事件驱动的全托管计算服务。使用函数计算只需编写并上传代码。函数计算支持定时触发，而且只需为任务实际消耗的资源付费。现在的免费额度挺大的，对于调用次数，每月前100万次调用免费；对于执行时间，每月前400000GB-秒费用免费。基本上只需要支付流量费用，但是你看两个API调用，这个流量开销真的很小。

完整代码

代码我是用node写的，依赖了async和request库。运行在阿里云函数计算nodejs 8的环境，运行超时时间是10s，内存限制是128M。

定时触发设置的是每天凌晨1点，如果有需要可以运行密集一些。

var request = require("request");
var async = require("async")
 
var targets = { 
    "htynkn/spring-boot": "spring-projects/spring-boot",
    "htynkn/incubator-dubbo": "apache/incubator-dubbo",
    "htynkn/angel": "Tencent/angel",
    "htynkn/spark": "apache/spark",
};
 
module.exports.handler = function (event, context, callback) {
    var options = {
        headers: {
            "User-Agent": "Upriver",
            "Authorization": "token 你的token"
        }
    };
    var execResult = [];
    async.forEachOf(targets, function (value, key, eachCallback) {
        async.waterfall([
            function (cb) {
                request.get("https://api.github.com/repos/" + value + "/branches/master", options, function (error, response, body) {
                    if (error) {
                        cb(error)
                    }
                    var sha = JSON.parse(body).commit.sha;
                    cb(null, sha);
                }
                )
            },
            function (sha, cb) {
                request.patch("https://api.github.com/repos/" + key + "/git/refs/heads/master", {
                    headers: options.headers,
                    json: {
                        "sha": sha,
                        "force": false
                    }
                }, function (error, response, body) {
                    if (error) {
                        cb(error)
                    }
                    cb(null, body);
                })
            }], function (err, result) {
                if (err) {
                    eachCallback(err)
                } else {
                    execResult.push({
                        target: key,
                        time: new Date(),
                        result: result.object,
                    });
                    eachCallback();
                }
            }
        );
    }, function (err) {
        if (err) {
            callback(err)
        } else {
            console.log(execResult);
            callback(null, execResult);
        }
    })
};

这个是这个月的计量数据，函数计算的开销真的很小

说明和参考

本文首发在我的个人博客，经过修改后发布于云栖社区。

Github API：https://developer.github.com/v3/
Github Token：https://help.github.com/articles/creating-a-personal-access-token-for-the-command-line/
阿里云函数计算：https://help.aliyun.com/product/50980.html