【案例:知网】爬取指定检索条件下的数据
知网搜索客户需求问题解决方案结果呈现类似需求客户需求1、论文使用数据,需要爬取特定检索条件下的所有结果2、题录信息组成的excel表格,里面要有篇名、作者、刊名、发表时间、被引用、下载次数。问题1、爬取10页左右会跳验证码2、登录非登录状态下数据位置不一致解决方案1、模拟post请求获取接口数据2、selenium刷新按钮,跳过验证码网页解析源码 data ={'IsSearch': 'false', 'QueryJson': '{"Platform":"","DBCode
原创
2021-01-30 00:20:43 ·
1804 阅读 ·
1 评论