一.repo原理
repo
repo用于管理多个git项目,同一产品可能包含多个git项目,不同的git项目集合,可能形成不同产品,通过repo可以实现方便的管理。repo主要包含repo配置信息、以及repo所管理的git项目集合。
git项目
对于所有git管理的项目,例如 mygitproject
,其中 mygitproject/.git
是git目录(或git库); mygitproject/
中除 .git
之外的内容为git工作目录,来自相应git目录中的某个版本。
repo项目
对于所有repo管理的项目,例如 myrepoproject
,其中 myrepoproject/.repo
是repo目录(或repo库); myrepoproject/
中除 .repo
之外的内容为repo工作目录,来自相应repo目录中的某个版本。
repo init
repo init
的作用是下载或更新好repo配置和脚本集(相当于对repo配置和repo脚本集进行 git pull
,但是它还额外做了更多的事情),repo配置和脚本本身又是由git管理的,repo配置指定使用哪些git项目,脚本是repo命令本身的实现。
在空目录中执行这个目录后,会生成一个 .repo
目录,查看 .repo
目录,会看到有如下内容:
$ls .repo
manifests/ manifests.git/ manifest.xml repo/
具体解释如下:
-
.repo: 此为repo目录,可用于提取相应项目工作目录到外面的repo工作目录。
-
.repo/manifests.git: 此为repo配置信息的git库,不同版本包含不同配置信息,配置信息大致描述内容见后面。
-
.repo/manifests: 此为repo配置信息的工作目录(将配置信息的工作目录和相应的实际git目录分离管理,并且配置信息中的.git目录实际只是指向实际git库的软连接),其中可能包含一个或多个xml文件描述的配置。每个xml文件是独立的一套配置,配置内容包括当前repo工作目录包含哪些git项目、所有git项目所处的默认公共分支、以及远端地址等。
-
.repo/manifest.xml: repo工作目录中的内容同一时刻只能采用manifests中的一个xml文件做为其配置,该文件就是其软连接,通过init的-m选项指定采用哪个文件;另外,同一xml文件也可能处于manifests库的不同版本或者不同分支,通过
init
的-b
选项指定使用manifests中的哪个分支,每次init命令都会从服务器更新最新的配置。这里通过-m
指定的manifests中的xml文件中,有两个需要注意:default.xml是稳定版,default_head.xml是开发版,开发版始终包含最新的内容。 -
.repo/repo: 此为repo脚本集的git库,用于repo管理所需的各种脚本,repo的所有子命令就是其中的对应脚本实现。该脚本也通过git管理,
.repo/repo/.git
为对应的git目录。这里包含repo命令所需的所有子命令脚本实现,由python完成(我们可以在.repo/repo/subcmds
中看到类似repo的init等的子命令脚本实现,如repo的init
子命令即repo init
,它由.repo/repo/subcmds/init.py
实现),这个目录本身又由git来管理。不同的repo库或者不同版本的repo库,其repo命令实现会有些不同,所以也对应不同的repo脚本集,建议每次采用对应repo项目的最新的repo库做为其repo命令集实现。第一次使用repo时,采用的repo脚本实际是一个简单的repo的引导脚本,它既符合shell语法,又符合python语法,最终会将所需的具体脚本实现下载至最新的.repo/repo
中,后面类似repo init
、repo sync
等脚本的实现,全都有这里的内容来实现。我们发现.repo/repo/repo
,这个文件其实就是当前repo库中最新的repo引导脚本,可供其它没有使用过repo的用户做为repo的引导脚本来使用。 -
.repo/projects: 此为repo所管理的所有git项目集,包含repo当前配置所指定的所有git项目对应的git目录。不同的清单文件(即
manifest.xml
)内容,指定不同的git项目集组合,表征不同的项目版本或者项目,而如上所述,manifest.xml文件的内容又由其指向的manifests中的、具体的分支下的、xml文件来决定。 -
.repo/../*: 此为repo的工作区。在repo目录(即
.repo
)之外,根据repo配置(即.repo/manifest.xml
文件),从.repo/projects/*
中提取出指定分支的各个git项目(即.repo/projects
中git项目的子集)的工作目录,形成repo工作目录,可供开发使用。其中每个git工作目录中的.git
只是指向.repo/projects/*
的软连接,在repo工作目录中的某个git工作目录更新相应的git库,其实最终会更新到.repo/projects
中对应的git库。刚刚repo sync之后,当前工作目录不处于任何分支,其中的修改只能本地保存无法提交至远端,若想提交工作,需要先创建一个分支保存工作内容。
这些本地的目录是如何生成的呢?执行repo命令时,可以通过--trace参数,来看实际发生了什么。
$ repo --trace init -u $URL -b $BRANCH -m $MANIFEST -------------------- mkdir .repo; cd .repo git clone --bare $URL manifests.git git clone https://android.googlesource.com/tools/repo mkdir -p manifests/.git; cd manifests/.git for i in ../../manifests.git/*; do ln -s $ı .; done cd .. git checkout $BRANCH -- . cd .. ln -s manifests/$MANIFEST manifest.xml
首先,在当前目录下创建.repo子目录,后续所有的操作都在.repo子目录下完成;
然后,clone了两个git库,其中一个是-u参数指定的manifests,本地git库的名称是manifest.git;另一个是默认的repo,后面我们会看到这个URL也可以通过参数来指定;
接着,创建了manifest/.git目录,里面的所有文件都是到manifests.git这个目录的链接,这个是为了方便对manifests目录执行git命令,紧接着,就会将manifest切换到-b参数指定的分支;
最后,在.repo目录下,创建了一个软链接,链接到-m参数制定的清单文件,默认情况是manifests/default.xml。
这样,就完成了一个多git库的初始化,之后,就可以执行其他的repo命令了。
我们还介绍几个不常用的参数,在国内下载Android源码时,会用到:
–repo-url:指定远程repo库的URL,默认情况是https://android.googlesource.com/tools/repo,但国内访问Google受限,会导致这个库无法下载,从而导致repo init失败,所以可以通过该参数指定一个访问不受限的repo地址 –repo-branch:同manifest这个git库一样,repo这个git库也是有版本差异的,可以通过该参数来指定下载repo这个远程git库的特定分支 –no-repo-verify:在下载repo库时,会对repo的源码进行检查。通过–repo-url指定第三方repo库时,可能会导致检查不通过,所以可以配套使用该参数,强制不进行检查
二. 项目清单库
<?xml version="1.0" encoding="UTF-8"?>
<manifest>
<!--<remote name="origin" fetch="ssh://gerrit.xxx.com:29418" review="gerrit.xxx.com:8082" />-->
<remote fetch="." name="origin" review="gerrit.xxx.com:8082"/>
<default revision="os-master" remote="origin" sync-j="4" sync-c="true" />
<include name="base.xml" />
<include name="hozon_app.xml" />
<include name="hozon_framework.xml" />
<include name="vendor.xml" />
</manifest>
<manifest>
<project groups="source,prebuilt" name="lagvm/platform/vendor/packages/apps/AIspeechView" path="android/vendor/packages/apps/AIspeechView" revision="androidR-master"/>
<project groups="source,prebuilt" name="lagvm/platform/vendor/packages/apps/AIspeechDaemon" path="android/vendor/packages/apps/AIspeechDaemon" revision="androidR-master" />
</manifest>
常用参数:
- <remote>:描述了远程仓库的基本信息。
name:远程仓库的名称,通常我们看到的命名是origin
fetch:git库地址
review:用作code review的server地址
- <default>:default标签定义的属性,将作为<project>标签的默认属性,在<project>标签中,也可以重写这些属性。
revision:默认分支
remote:默认的远程版本库名称
sync-j:表示在同步远程代码时,并发的任务数量
- <project>:每一个repo管理的git库,就是对应到一个<project>标签
path:把代码下载到指定目录下
name:该项目远程版本库的相对路径
groups:该项目远程版本库所属组
revision:单独指定分支
remote:单独指定远程版本库名称
- <project><copyfile>:project元素下的子元素copyfile,定义clone后从src到dest拷贝操作。
- <project><linkfile>:project元素下的子元素linkfile,定义clone后dest到src的软连接。
- <repo-hooks>:repo钩子,in-project下面应该有一个与钩子同名的python文件。因此,如果您想支持预上传钩子,您需要创建一个名为post-sync.py的文件。Repo将在处理钩子时动态加载该模块,然后调用其中的主函数。
in-project:定义挂钩的项目。该值必须与先前定义的元素的name属性(而不是属性)匹配。
enabled-list:要使用的钩子列表,空格或逗号分隔。
三.repo常用命令
1.repo init 初始化
repo init --repo-url=https://gerrit-googlesource.lug.ustc.edu.cn/git-repo -u ssh://admin@gerrit.xxx.com:29418/all_projects -b androidR-master -m hozon_R.xml -g source,prebuilt
常用参数:
- -u:指定manifest项目清单库地址。
- -m,–manifest-name:指定manifests库中的清单文件,默认为maniftests/default.xml。
- -b, –manifest-branch:指定manifest仓的分支,默认为master分支。
- -g:指定manifests库中的组来下载代码,默认为all。
不常用参数:
- –repo-url:指定远程repo库地址,当引导脚本中的地址不可访问时,可以通过该参数指定可访问的repo地址。
- –repo-branch:同manifest这个git库一样,repo这个git库也是有版本差异的,可以通过该参数来指定下载repo这个远程git库的特定分支。
- –no-repo-verify:在下载repo库时,会对repo的源码进行检查。通过–repo-url指定第三方repo库时,可能会导致检查不通过,所以可以配套使用该参数,强制不进行检查。
- --depth {number}:限制下载记录次数,加速代码下载。
2.repo sync 同步代码
repo sync -c -q -j24
常用参数:
- -j:开启多线程同步操作,这会加快sync命令的执行速度。该参数在default.xml中有默认设置。
- -c, –current-branch:只同步指定的远程分支。默认情况下,sync会同步所有的远程分支。
不常用参数:
- -d, –detach:脱离当前的本地分支,切换到manifest.xml中设定的分支。
- -f, –force-broken:当有git库sync失败了,不中断整个同步操作,继续同步其他的git库。
- –no-clone-bundle:在向服务器发起请求时,为了做到尽快的响应速度,会用到内容分发网络(CDN, Content Delivery Network)。
命令说明:
下载远程代码,并将本地代码更新到最新,这个过程称为“同步”。如果不使用任何参数,那么会对所有repo管理的git仓进行同步操作;也可以通过使用PROJECT_LIST参数,指定若干要同步的PROJECT。 根据本地git库代码不同,同步操作会有不同的行为:
- 当本地的git库是第一次触发同步操作时。该命令等价于git clone,会将远程git库直接拷贝到本地。
- 当本地已经触发过同步操作时。该命令等价于git remote update && git rebase origin/<BRANCH>,<BRANCH>就是当前与本地分支所关联的远程分支。在代码合并时可能会产生冲突,当冲突出现时,只需要解决完冲突,然后执行git rebase --continue即可。
3.repo upload 上传代码
repo upload [PROJECT_LIST]
命令说明:
将本地的新增或者修改代码上传到远程服务器。upload命令首先会找出本地分支从上一次同步操作以来发生的改动,然后会将这些改动生成Patch文件,上传至Gerrit服务器。 如果没有指定PROJECT_LIST,那么upload会找出所有git库的改动;如果某个git库有多个分支,upload会提供一个交互界面,提示选择其中若干个分支进行上传操作。
执行repo upload之前,需保证代码已经commit。
不常用参数:
- -re
当有多个git库的改动提交时,为了避免在网页上频繁的填选Reviewer这种重复劳动, upload提供了–re, –reviewer参数,在命令行一次性指定Reviewer。
4.repo forall 多仓执行
repo forall [PROJECT_LIST] -c <COMMAND>
常用参数:
- -c:后面可以带的任何可以被系统支持的shell命令
- -p:在shell命令输出之前列出项目名称
- -v:列出执行shell指令输出的错误信息
该命令还可以添加环境变量:
环境变量参数:
- REPO_PROJECT:指定项目的名称
- REPO_PATH:指定项目在工作区的相对路径
- REPO_REMOTE:指定项目远程仓库的名称
- REPO_LREV:指定项目最后一次提交服务器仓库对应的哈希值
- REPO_RREV:指定项目在克隆时的指定分支,manifest里的revision属性
如果-c后面的shell指令是上述的环境变量,则需要用单引号把shell命令括起来使用。
打标签:
repo forall -c git tag 标签名
5.repo start 创建并切换分支
repo start <BRANCH_NAME> [<PROJECT_LIST>]
repo start 的实质就是对git checkout -b 的封装
常用参数:
-
--all:对所有的PROJECT都执行分支切换操作
6.repo checkout 切换分支
repo checkout <BRANCH_NAME> [<PROJECT_LIST>]
该命令实际是对git checkout命令的封装。检出之前由repo start创建的分支。
7.repo status 状态查询
repo status [<PROJECT_LIST>]
用于查看指定仓的工作空间,类似于git status,如果不添加参数,则是查看所有仓 。
说明:
每个小节的第一行显示的是项目名称和所在的分支名称
每个小节的第二行的第一个字母表示暂存区文件修改的状态
- -:没有改变
- A:添加(不在HEAD中,在暂存区中)
- M:修改(在HEAD中,在暂存区中,内容不同)
- D:删除(在HEAD中,不在暂存区)
- R:重命名(不在HEAD中,在暂存区,路径修改)
- C:拷贝(不在HEAD中,在暂存区,从其他文件拷贝)
- T:文件状态改变(在HEAD中,在暂存区,内容相同)
- U:未合并,需要冲突解决
每个小节的第二行的第二个字母表示工作区文件的更改状态
- -:新/未知(不在暂存区,在工作区)
- m:修改(在暂存区,在工作区,被修改)
- d:删除(在暂存区,不在工作区)
8.repo branchs 分支查询
repo branches [<PROJECT_LIST>]
命令说明:
读取各个项目的分支列表并汇总显示。可指定只读取某一项目的列表。
9.repo diff 文件对比
repo diff [<PROJECT_LIST >]
命令说明:
该命令实际是对git diff命令的封装。用于显示各项目工作区下的文件差异,可指定只显示某一项目工作区下的文件差异。
10.repo download 下载代码
repo download <TARGET> <CHANGE>
命令说明:
download是从Gerrit下载改动代码。
-
<TARGET>:指定要下载的PROJECT,譬如Tapp/eCommApp
-
<CHANGE>:指定要下载的改动内容的change_number。
11.repo prune 删除合并分支
repo prune [<PROJECT_LIST>]
命令说明:
删除指定PROJECT中,已经合并的分支。当在开发分支上代码已经合并到主干分支后,使用该命令就可以删除这个开发分支。随着时间的演进,开发分支会越来越多,在多人开发同一个git库,多开发分支的情况会愈发明显,假设当前git库有如下分支:
-
* master dev_feature1_201501 # 已经合并到master dev_feature2_201502 # 已经合并到master dev_feature3_201503 # 正在开发中,还有改动记录没有合并到master
那么,针对该git库使用prune命令,会删除dev_feature1_201501和dev_feature2_201502。
12.repo stage 添加文件至暂存区
repo stage –i [<PROJECT_LIST >]
命令说明:
该命令实际是对git add --interactive命令的封装,用于将项目工作区中的改动添加到暂存区。
13.repo abandon 删除分支
repo abandon <branchName> [<PROJECT_LIST > ]
命令说明:
该命令实际是对git branch -D命令的封装。作用是删除分支。
14.repo manifest 查看manifest
repo manifest -r -o %s_manifest.xml
常用参数:
-
-r:保存当前分支revisions。
-
-o NAME.xml:输出xml文件名。
命令说明:
用于显示manifest文件内容。
15.repo version 查看版本号
命令说明:
用于显示repo版本号。
3.repo原理
repo
repo用于管理多个git项目,同一产品可能包含多个git项目,不同的git项目集合,可能形成不同产品,通过repo可以实现方便的管理。repo主要包含repo配置信息、以及repo所管理的git项目集合。
git项目
对于所有git管理的项目,例如 mygitproject
,其中 mygitproject/.git
是git目录(或git库); mygitproject/
中除 .git
之外的内容为git工作目录,来自相应git目录中的某个版本。
repo项目
对于所有repo管理的项目,例如 myrepoproject
,其中 myrepoproject/.repo
是repo目录(或repo库); myrepoproject/
中除 .repo
之外的内容为repo工作目录,来自相应repo目录中的某个版本。
repo init
repo init
的作用是下载或更新好repo配置和脚本集(相当于对repo配置和repo脚本集进行 git pull
,但是它还额外做了更多的事情),repo配置和脚本本身又是由git管理的,repo配置指定使用哪些git项目,脚本是repo命令本身的实现。
在空目录中执行这个目录后,会生成一个 .repo
目录,查看 .repo
目录,会看到有如下内容:
$ls .repo
manifests/ manifests.git/ manifest.xml repo/
具体解释如下:
-
.repo: 此为repo目录,可用于提取相应项目工作目录到外面的repo工作目录。
-
.repo/manifests.git: 此为repo配置信息的git库,不同版本包含不同配置信息,配置信息大致描述内容见后面。
-
.repo/manifests: 此为repo配置信息的工作目录(将配置信息的工作目录和相应的实际git目录分离管理,并且配置信息中的.git目录实际只是指向实际git库的软连接),其中可能包含一个或多个xml文件描述的配置。每个xml文件是独立的一套配置,配置内容包括当前repo工作目录包含哪些git项目、所有git项目所处的默认公共分支、以及远端地址等。
-
.repo/manifest.xml: repo工作目录中的内容同一时刻只能采用manifests中的一个xml文件做为其配置,该文件就是其软连接,通过init的-m选项指定采用哪个文件;另外,同一xml文件也可能处于manifests库的不同版本或者不同分支,通过
init
的-b
选项指定使用manifests中的哪个分支,每次init命令都会从服务器更新最新的配置。这里通过-m
指定的manifests中的xml文件中,有两个需要注意:default.xml是稳定版,default_head.xml是开发版,开发版始终包含最新的内容。 -
.repo/repo: 此为repo脚本集的git库,用于repo管理所需的各种脚本,repo的所有子命令就是其中的对应脚本实现。该脚本也通过git管理,
.repo/repo/.git
为对应的git目录。这里包含repo命令所需的所有子命令脚本实现,由python完成(我们可以在.repo/repo/subcmds
中看到类似repo的init等的子命令脚本实现,如repo的init
子命令即repo init
,它由.repo/repo/subcmds/init.py
实现),这个目录本身又由git来管理。不同的repo库或者不同版本的repo库,其repo命令实现会有些不同,所以也对应不同的repo脚本集,建议每次采用对应repo项目的最新的repo库做为其repo命令集实现。第一次使用repo时,采用的repo脚本实际是一个简单的repo的引导脚本,它既符合shell语法,又符合python语法,最终会将所需的具体脚本实现下载至最新的.repo/repo
中,后面类似repo init
、repo sync
等脚本的实现,全都有这里的内容来实现。我们发现.repo/repo/repo
,这个文件其实就是当前repo库中最新的repo引导脚本,可供其它没有使用过repo的用户做为repo的引导脚本来使用。 -
.repo/projects: 此为repo所管理的所有git项目集,包含repo当前配置所指定的所有git项目对应的git目录。不同的清单文件(即
manifest.xml
)内容,指定不同的git项目集组合,表征不同的项目版本或者项目,而如上所述,manifest.xml文件的内容又由其指向的manifests中的、具体的分支下的、xml文件来决定。 -
.repo/../*: 此为repo的工作区。在repo目录(即
.repo
)之外,根据repo配置(即.repo/manifest.xml
文件),从.repo/projects/*
中提取出指定分支的各个git项目(即.repo/projects
中git项目的子集)的工作目录,形成repo工作目录,可供开发使用。其中每个git工作目录中的.git
只是指向.repo/projects/*
的软连接,在repo工作目录中的某个git工作目录更新相应的git库,其实最终会更新到.repo/projects
中对应的git库。刚刚repo sync之后,当前工作目录不处于任何分支,其中的修改只能本地保存无法提交至远端,若想提交工作,需要先创建一个分支保存工作内容。
这些本地的目录是如何生成的呢?执行repo命令时,可以通过--trace参数,来看实际发生了什么。
$ repo --trace init -u $URL -b $BRANCH -m $MANIFEST -------------------- mkdir .repo; cd .repo git clone --bare $URL manifests.git git clone https://android.googlesource.com/tools/repo mkdir -p manifests/.git; cd manifests/.git for i in ../../manifests.git/*; do ln -s $ı .; done cd .. git checkout $BRANCH -- . cd .. ln -s manifests/$MANIFEST manifest.xml
首先,在当前目录下创建.repo子目录,后续所有的操作都在.repo子目录下完成;
然后,clone了两个git库,其中一个是-u参数指定的manifests,本地git库的名称是manifest.git;另一个是默认的repo,后面我们会看到这个URL也可以通过参数来指定;
接着,创建了manifest/.git目录,里面的所有文件都是到manifests.git这个目录的链接,这个是为了方便对manifests目录执行git命令,紧接着,就会将manifest切换到-b参数指定的分支;
最后,在.repo目录下,创建了一个软链接,链接到-m参数制定的清单文件,默认情况是manifests/default.xml。
这样,就完成了一个多git库的初始化,之后,就可以执行其他的repo命令了。
我们还介绍几个不常用的参数,在国内下载Android源码时,会用到:
–repo-url:指定远程repo库的URL,默认情况是https://android.googlesource.com/tools/repo,但国内访问Google受限,会导致这个库无法下载,从而导致repo init失败,所以可以通过该参数指定一个访问不受限的repo地址 –repo-branch:同manifest这个git库一样,repo这个git库也是有版本差异的,可以通过该参数来指定下载repo这个远程git库的特定分支 –no-repo-verify:在下载repo库时,会对repo的源码进行检查。通过–repo-url指定第三方repo库时,可能会导致检查不通过,所以可以配套使用该参数,强制不进行检查