爬虫
文章平均质量分 90
黑色幽默0727
这个作者很懒,什么都没留下…
展开
-
使用python+playwright爬取中国联通采购与招标网
目标网站:中国联通采购与招标网打开网站后,尝试使用开发者工具分析数据返回的情况,发现网站添加了 debugger,影响我们分析和爬取,不过没有关系,继续观察网络界面中各个链接的请求和返回情况,发现数据通过这个页面返回http://www.chinaunicombidding.cn/api/v1/bizAnno/getAnnoList?原创 2024-07-19 13:23:16 · 623 阅读 · 3 评论 -
使用python+playwright爬取中国移动采购与招标网
打开网站后,通过开发者工具分析数据是如何返回的,可以看到数据通过这个页面以json的形式返回,并在页面记载呈现;看下请求头的情况,发现未做cookie或其他加密混淆手段限制,遂分析能否通过request等爬虫方式获取内容;继续往下分析,看下请求的载荷情况,已经做了编码加密,无法得知明文结构,request方式不可行,所以考虑使用playwright有头方式请求,绕过该限制。原创 2024-07-18 14:47:46 · 1047 阅读 · 1 评论