爬虫绕过登陆

今日查 美团厦门研发中心 ，打开个链接发现要登陆：https://bbs.byr.cn/article/Fujian/457379

发现可以在必应的页面缓存里看到内容，但是点下一页的时候又回到了该网站，要求登陆。问题是不是该学校的无法注册啊……

想了想把爬虫头换成了必应爬虫的头，用requests库爬了一下，内容是正常的网页内容。get。

End.

转载于:https://www.cnblogs.com/linjianfan/p/6728286.html