自己动手:bash脚本工具统计git历史, 发掘谷歌在Android项目奥秘

原创 2013年12月04日 10:25:08

和几个项目经理朋友聊到项目工作量评估,公司内部对代码量,工程师的工作量通常有集成工具记录和衡量,但是如何比对其它业界的项目效率就成立讨论焦点,比如Google的Android工程师的代码出产效率,每个项目都花费了多少人力等等。受人之托,从Android的Git历史中研究以下这些问题,于是有了这个Bash脚本工具。

最新版本的github.com下载链接 https://github.com/neokidd/ghist2db

使用这个工具的前提是你有包含完整Git历史信息的Android的代码库,一般来说,是用"repo sync"来完成的下载的代码库,可以是全部project,也可以是部分的,比如说是用"repo sync framewors/base"这样单独sync的某些project。

repo for-all -c ghist2db.sh

输出结果是在代码库顶级目录下的一个ginfo.db文件,然后就可以用sqlite3来取得许多有趣的统计信息。比如在Android 4.0.4上,谷歌工程师commit的次数一共是155416,最多的工程师是三位大神是jessewilson@google.com, hackbod@google.com (Diane Hackbod, 大名鼎鼎的framework工程师), omakoto@google.com。另外,如何假设每个谷歌工程师每周3次commit,那么Android 4.0.4共花费了51805 staff*week的工作量。
源代码如下:

#!/bin/bash

usage()
{
    echo "ghist2db -- convert Android git history to sqlite db."
    echo "Usage:"
    echo "repo forall -c ghist2db.sh"
    echo "or, run it separately for each repo project"
}

find_repo_top()
{
    cwd=$1
    while [ "$cwd" != "" -a "$cwd" != "~" ]; do
       if [ -f $cwd/.repo/repo/main.py ]; then 
           repo_top=$cwd
           return
       fi
       cwd=${cwd%\/*}
   done
}

if [ "$repo_top"=="" ]; then
  #echo "repo_top is empty, need to call find_repo_top"
  find_repo_top `pwd`
fi

if [ "$repo_top" == "" ]; then
    echo "seems you're not in a Android repo, please cd to Android repo!"
    usage; exit 1
fi
repo_name=${repo_top##*\/}
#echo "repo_top: " $repo_top
#echo "repo_name: " $repo_name

proj=`pwd | awk -F"$repo_name"/ '{print $2}'`

echo "populating git info in $proj..."

# step 1: print git history logs in with "--pretty" format option, so that it's ready as sql sentences.
git log --pretty=format:"insert into googler_info (h, ae, ce, at, proj) values ('%h', '%ae', '%ce', '%at', '$proj');" --author=@google.com > googler_info.txt

# step 2: group all insert operations into one commit.
echo -e "begin;\n$(cat googler_info.txt)\ncommit;" > final_googler_info.sql

# step 3: add lines for creating table.
echo -e "create table if not exists googler_info(
     _id             integer primary key autoincrement,
     h               text not null,
     ae               text not null,
     ce               text not null,
     at               text not null,
     proj             text not null);
\n$(cat final_googler_info.sql)" > final_googler_info.sql

# step 4: create the db file
echo "inserting to db..."
sqlite3 "$repo_top"/ginfo.db < final_googler_info.sql
echo "done."

实现上有这么几个key points:

1. step1中,定制git log的输出历史格式,重点是--pretty参数,让输出直接是sql语句。另外--author可以指定只输出@google.com的作者,就是只看googler的代码贡献。这里取以下这些字段,更多的可以看man page (man git-log)
 %h: abbreviated commit hash
 %ae: author email
 %ce: committer email

 %at: author date, UNIX timestamp


2. step2中,把这些单独的sql语句组合成事务,目的是避免过多的插入事务对DB产生不必要的负担。


3. step3中,在开头加入创建db的语句,注意需要用到if not exists。


4. step4中,用sqlite3来执行这些sql语句。


5. Android原生的repo for-all负责遍历每个project,并运行ghist2db.sh这个脚本。所有信息被插入同一个db。


几个值得注意的细节:
1. Bash的字符串操作有许多方法。一类是用sed或者awk,比如line 36行,另一类用sh或者bash的内建方法,比如find_repo_top()中用到的子串的查找,${cwd%\/*},${repo_top##*\/}。参考资料:
Bash string manipulating:
http://tldp.org/LDP/abs/html/string-manipulation.html
SED:
http://www.doc88.com/p-0079912374852.html

2. Bash的if比较语句,[]里的语句和“[”之间需要有空格,开始是总是不习惯这样写。另外,字符串比较, 变量需要quote,比如"$cwd" != "~"。

3. 在指定行插入text,方法有多种,比如还是sed的方法,如果仅在开头或者结尾插入,可以echo源文件,在前后添加,如果step2中。sed的好用方法还可以参见这里(比如sed -i):
http://superuser.com/questions/246837/how-do-i-add-text-to-the-beginning-of-a-file-in-bash
http://www.doc88.com/p-0079912374852.html

4. Bash调试:用bash -x选项,得到每行的输入参数,方便查找问题。


使用git Bash工具上传网站项目到github

github 托管网站过程指导

Bash玩转脚本4之搞一套完整的Android反编译与分包工具

Bash玩转脚本4之搞一套完整的Android反编译与分包工具 主讲Android反编译签名生成多个包的思路和实现: 实现从拿到一个apk安装包,把这个包反编译生成n个包,标示每个包的信...

OSX: 实用脚本程序(bash scripts)系列-22- 用户登陆历史

好久木有分享代码了,今天找到一个,这个挺好,可以从log里面把用户登陆/登出的用户名和时间显示出来,对于想看看电脑何时/谁使用了多长时间电脑有所帮助,这个是网上抄过来的:...

android实现谷歌地图项目

  • 2017年05月30日 12:14
  • 31.7MB
  • 下载

清除VS开发工具的项目历史记录

  • 2011年08月09日 14:48
  • 266B
  • 下载

Android NDK探究奥秘一:Android Studio创建第一个JNI项目

android studio开发NDK还是很方便的。无论是ndk-build还是cmake方式。c/c++来实现,让开发人员越来越懒。...

android APP调起地图导航(谷歌,高德,百度)工具类

package com.seatel.recommend.tools; import android.content.Context; import android.content.Intent; ...

安卓开发利器 谷歌发布Android Studio 工具介绍

官方帮助文档及下载地址 http://developer.android.com/sdk/installing/studio.html                        ...

6.4 Git 工具 - 重写历史

重写历史 很多时候,在 Git 上工作的时候,你也许会由于某种原因想要修订你的提交历史。Git 的一个卓越之处就是它允许你在最后可能的时刻再作决定。你可以在你即将提交暂存区时决定什么文件归入...

7.6 Git 工具 - 重写历史

重写历史 许多时候,在使用 Git 时,可能会因为某些原因想要修正提交历史。 Git 很棒的一点是它允许你在最后时刻做决定。 你可以在将暂存区内容提交前决定哪些文件进入提交,可以通过 stash...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:自己动手:bash脚本工具统计git历史, 发掘谷歌在Android项目奥秘
举报原因:
原因补充:

(最多只允许输入30个字)