github采集器 开源_GitHub关键字扫描开源工具推荐

互联网上数次曝出的GitHub泄漏公司比较敏感信息内容恶性事件，表明企业安全中GitHub关键词扫描仪是很重要及关键的安全性基础设施，我用了某些恶性事件对于不一样种类的GitHub扫描仪开源系统商品作了某些检测调查，与君共享。

一、GitHub检索插口

github得出了在编码找中关键字搜索的API，而且界定默认设置只检索主支系编码，也就是说master这一支系，只能低于384KB的文档能够被检索。

在官方网举例说明中：

https://api.github.Com/search/code?q=addClass+In:file+language:Js+repo:jquery/jquery

q 表达为关键词；

In:file 表达为在文档中检索(在文件目录中则是In:path，)；

language 表达語言为JavaScript；

repo 表达为在jquery/jquery储存库中检索；

大量检索英语的语法能够去往官方网站查询https://github.Com/search/advanced。

API还出示了百度搜索展现的作用，在post请求的那时候随身携带post请求头：

curl-H'Accept:application/vnd.github.v3.text-match+json'\https://api.github.Com/search/code?q=addClass+In:file+language:Js+repo:jquery/jquery

实例：可是这一作用只显示信息配对到的关键词和行数，针对实际上运用功效并不大：

二、开源系统专用工具详细介绍

互联网上带许多GitHub扫描仪的开源系统专用工具，我的要求是：立即告警、扫描仪全方位、数据可视化展现，历经某些检测比照后，强烈推荐几款布署便捷、配备简易的专用工具：

GSIL(https://github.Com/FeeiCN/GSIL)

Hawkeye(https://github.Com/0xbug/Hawkeye)

2.2 GSIL详细介绍

基本原理：

登陆配备：选用token(https://github.Com/settings/tokens)，应用PyGithub库。

开展API启用(.com://pygithub.github.io/PyGithub/v1/introduction.html语言)。

检索范畴：默认设置检索前150个新项目，较大6000(github限定)。

全过程：根据API(/search/code)检索标准文档rules.gsil中递交的关键词，随后剖析获得的json結果，默认设置展现前40个有关新项目。

扫描仪配备：在配置文件时会过虑某些创作者觉得没用的相对路径，能够依据具体情况屏蔽掉某些：

結果展现：新款上市专用工具沒有网页页面展现，根据电子邮件告警，配对存有关键字的行以及上下左右3行用以邮件发送来清查(客户体验不错)。

去重复扫描仪：专用工具纪录扫描仪全过程中造成的有关编码內容、文档hash，在~文件目录下建立了1个隐藏文件夹.gsil。扫描仪模块中要是文档的hash是以前碰到过的，则绕过：

周期时间扫描仪：可根据crontab配备，每钟头实行多次：

@hourly /usr/bin/python /root/gsil/gsil.py 标准名字

3.2 Hawkeye详细介绍

扫描仪基本原理前边早已简易详细介绍已过，Hawkeye因为有着图形界面页面，因而能够和GSIL配搭应用，我一般将GSIL扫描仪出去的账户，做为重中之重关心构造函数，配备更为详尽的对策来检测。

三、小结

GitHub关键词扫描仪也有许多别的的开源系统专用工具，例如较为重量级的gitpprey(https://github.Com/repoog/GitPrey)，也有小米手机产品研发的X-patrol(https://github.Com/MiSecurity/x-patrol)，从安裝自然环境规定、配备作用建立、布署难度系数水平下手，就能寻找这款合适公司自然环境的开源系统扫描工具。加上某些程序开发得话，基础能够确保某些碰触关键词的GitHub数据泄露能被立即的发觉与删掉。

谢谢阅读文章，热烈欢迎具体指导。