今天练习了从domain.cn网站爬取域名注册信息的爬虫小项目。
项目主要步骤分析如下:
(一)网页分析
1. 打开domain.cn页面,情况如下:
2. 打开charles,在上面的域名查询框内随便输入一个域名进行查询,这里输入的是123456.com,查看charles的抓包结果
charles抓包的大概情况如下:
3. 分析网络请求过程
发现域名是否注册的信息,domain.cn是通过ajax发送的请求,charles抓包中可以发现:
之所以有这么多个ajax请求,是因为,同时请求了123456.xyz, 123456.cn等其他后缀的域名情况。
这里直接查看 123456.com的请求情况: