Web Scraper 网络爬虫零基础详细使用教程,爬取京东商品搜索结果、商品价格、规格参数等,爬取二级网页、滚动加载网页,京东安全验证小技巧
研究最近需要用到京东的商品数据。刚开始采用了常规的 request 库的方法直接发送请求,然后解析返回结果的方式,但是京东的反爬太狠了,请求几次直接就给嘎了,多次尝试后还是以失败告终。经推荐,我用上了 Web Scraper 这个插件,发现上手简单,傻瓜式操作,而且最重要的是没有被京东很快地拦截掉,能比较顺利地爬到数据,所以写这篇博客记录一下使用方法,以备后续需要并和大家分享。
原创
2023-11-04 14:52:10 ·
2139 阅读 ·
2 评论