爬虫 修改 下拉框

爬取某个网站，可以通过修改下拉框来实现数据批量加载

 

上图我们可以看到   view 下面的下拉框  的值是25 ,50 ,100 ,200。我们把200的值修改为5200，然后提交页面

 

 

 

然后直接出来所有的数据，不在需要做翻页：

 

 爽不爽啊，请求的时候注意把cookie复制到请求头里面，有些网站是通过cookie控制翻页的

 

转载于:https://www.cnblogs.com/xuchunlin/p/9323799.html