weixin_42229626的博客

在使用 XPATH 爬取京东商品信息的是否,发现部分京东自营商品的定位地址和其他商品在层数上回不一样比如说特别的//*[@id="J_goodsList"]/ul/li[14]/div/div/div[2]/div[1]/div[3]/a一般的//*[@id="J_goodsList"]/ul/li[8]/div/div[3]/a可以发现中间在li后面多了3层div开始的思路是 用通配符. *写成//*[@id="J_goodsList"]/ul/li[@xxx=""]/*/div[

Python + selenium 爬取淘宝商品列表及商品评论[2021-08-26]主要内容登录淘宝获取商品列表获取评论信息存入数据库需要提醒主要内容通过python3.8+ selenium 模拟chrome操作进行淘宝商品列表及评论的爬取还存在以下问题:需要人扫二维码登录以便于绕过反爬机制(后面再优化)评论爬取耗时比较长,因为页面加载完整后才能进行评论的爬取,而各类商品详情页的图片数量不同,导致加载时间不同,有的甚至要加载1-2min(也可能是公司网限制了购物网站的网速)整体思路:通过扫