gitlab 崔庆才_九个值得推荐的git/github项目数据分析工具

九个值得推荐的git/github项目数据分析工具

任何重要的决定都应基于数据，对于信息项目和软件开发也是如此。今天王囧草给大家介绍一些Git/GitHub开源分析工具供大家学习参考。

1、GitHub API

首先要说的是Github的官方API，这是获取GitHub仓库详细的最佳方式。API非常好用，你可以使用curl或者其他任何语言打包库，获取仓库的所有信息(其他公共在线Git托管平台或者自建的Gitlab都有类似的API)。但是Github对API的调用做了限制，每小时的请求数量是有限制的，如果你要分析大型项目，则使用API。

通过Github API，你基本上获得访问浏览项目Github仓库时看到的所有信息，但是对仓库的Git信息内部信息有限，你需要clone 仓库后通过git命令才能获得完全信息。

2、GHCrawler

GHCrawler是由微软开发的一个健壮的GitHub API 爬虫，可遍历GitHub实体和消息，对其进行搜索和跟踪。如果要对某一组织或者项目的活动进行分析，则GHCrawler特别有用。GHCrawler也受Github API请求次数的限制，但是GHCrawler通过使用令牌池和轮换来优化API令牌的使用。GHCrawler支持命令行式调用，同时也支持一个Web端界面操作

3、GH Archive

GH Archive是一个开源的一个项目，用于记录公共GitHub时间轴，对其进行存档，并使其易于访问以进行进一步分析。GitHub Archive获取所有的GitHub events信息存储在一组JSON文件中，以便根据需要下载并脱机处理。

另外，GitHub Archive也可以作为公共数据集在Google BigQuery上使用。该数据集每小时自动更新一次，可以在几秒钟内对整个数据集运行任意类似SQL的查询。

4、GHTorren

和GH Archive类似，GHTorrent项目也用来监视Github公共事件时间表信息。对于每个事件，它都详尽地检索其内容和相互依赖性。然后将结果JSON的信息存储到MongoDB数据库，同时还将其结构提取到MySQL数据库中。

GHTorrent和GH Archive有点类似，两者区别是GH Archive旨在提供更详尽的事件集合，按小时频率获取信息。而GH Torrent则以更结构化的方式提供事件数据，以使更轻松地获取所有事件有关事件的信息，数据获取频率为月。

5、Kibble

Apache Kibble是一套用于收集，汇总和可视化软件项目中活动的工具。Kibble架构由一个中央Kibble服务器和一组专门用于处理特定类型资源的扫描应用程序并将已编译的数据对象推送到Kibble服务器。

根据这些数据，可以自定义一个仪表板，其中包含许多显示项目数据的小部件。从这个意义上讲，Kibble更像是一种工具，可以帮助创建项目数据信息展示Web端。

6、CHAOSS

CHAOSS是Linux 基金会下项目，致力于创建数据析和指标定义以帮助一个健康的开源社区。CHAOSS计划项目有很多工具可以挖掘和计算项目所需的指标数据：

Augur是一个Python库、Flask Web应用程序和REST服务器，用于提供有关开源软件开发项目运行状况和可持续性的指标。

Cregit则专注于生成视图以可视化代码更改的出处

**GrimoireLab **Bitergia旗下迄今为止最成熟和雄心勃勃的工具。GrimoireLab的目的是提供一个开源平台实现：几乎可以从任何与开源开发相关的工具中收集自动和增量数据，自动丰富数据以清理和扩展上面收集的数据，数据可视化，按时间范围，项目，存储库，贡献者等进行过滤搜索。

7、Sourced

Sourced自称为开发生命周期的数据平台。与以前的工具相比，它更多地关注项目的代码，而不是社区的协作。Sourced项目使用通用AST，可以实现与语言无关的方式对代码库细节查询。

在Sourced项目组织中，可以找到几个有趣的数据分析工具。包括：

go-git：用纯Golang语言编写的高度可扩展的git实现库。

Hercule：Golang实现的对存储库的整个提交历史记录分析工具。

gitbase：Golang 实现的Git存储库SQL数据库接口。

8、Hubble

Hubble用于可视化GitHub Enterprise的协作、使用情况和运行状况数据。它致力于帮助大公司了解其内部组织，项目和贡献者如何一起分配和协作。

Hubble Enterprise由两个组件组成。更新器组件是一个Python脚本，它每天从GitHub Enterprise设备查询相关数据，并将结果存储在Git存储库中。docs组件是一个Web应用程序，用于可视化收集的数据，并由GitHub Pages托管。

9、Onefetch

最后提一个非常强大的命令行下的git项目信息可视化的工具，支持对50多种语言，提及它是因为它是用新兴的Rust语言编写的。