最近需要每天提交查询一批网站的百度最近7天的收录量,网站现在还不确定数量,可能比较多。编写Python脚本,定时自动运行,将结果存入excel或者mysql数据库都可以。在网上也找了相关的代码,但是大部分都是查询所有的收录量,没有定制日期的查询。说下自己的代码思路吧。
1.将一批网站存入txt文档中,在Python中打开
2.site:本链接,发送请求,获取想要的数据
3.存到本地。
先分析了site:链接后的url:
类似这样的url,红圈部分是需要查询的网站,发现没法选择查询的时期,比如说是最近7天,还是最近24小时的收录量(我是没找到)
换了站长工具的查询收录工具,输入自己的网站链接,查看url:
http://tool.chinaz.com/baidu/?lm=7&wd=biz.ifeng.com&pn=0&pagesize=20&btime=&etime=
lm后面的参数部分可以选择查询的日期,最近7天的收录量,就是lm=7;最近24小时的收录量就是lm=1;最近一月就是lm=30,wd参数是自己的网站链接,pn参数当前的页数,pagesize参数每页显示的条数,btime参数查询的起始时间,etime结束时间。
1.获取网站链接