Rapid7的开源数据项目所拥有的数据种类和数据量是非常惊人的。任何人都可以从网络上下载这些早已被压缩,方便下载的数据。而这篇文章将集中讨论项目中的以下两个数据集,主要涉及DNS记录:
https://opendata.rapid7.com/sonar.rdns_v2/ (rdns)
https://opendata.rapid7.com/sonar.fdns_v2/ (fdns_a)
不幸的是,如果你是初次使用,想查询某条DNS记录,那么你的查询速度会很慢。因为这两个数据集都包含超过10GB的压缩文本,一般查询数据的方法效率都不会太高:
ubuntu@client:~$ time gunzip -c fdns_a.json.gz | grep "erbbysam.com"
{"timestamp":"1535127239","name":"blog.erbbysam.com","type":"a","value":"54.190.33.125"}
{"timestamp":"1535133613","name":"erbbysam.com","type":"a","va