1.3.1 检查robots.txt
大多数网站都会定义rotbot.txt文件。
1.3.5 寻找网站所有者
>>> import whois
>>> print whois.whois(‘www.chaojishoulu.com’)
{
...
"name_servers":[
"NS1.XXXX.COM",
],
"org":"google in.",
"eamils":[
"abusecomp;aints@markmonitor.com"
]
}
用这个模块对域名进行whois查询返回结果。