requests img src xpath 下载图片返回404-问题记录

目前只针对普通html的记录 先说xpath提取内容,再说img 下载失败

先说症状 xpath 网页端可以找到相应内容,编译环境里找不到内容。

尝试解决

1、判断网页是否能通过编译器requests.get(url)下载到本地,不能下载加上headers和cookies试试。

2、下载后,通过编译环境在浏览器中打开网页

3、复制服务器上的xpath表达式到,编译环境打开的网页中查找,发现第一次找不到内容,刷新后又能找到内容。

4、代码比对,发现下载的网页第一次加载会在html目标元素查找元素里多了一个空格,刷新后又没有那个空格了,所以xpath查询语句中也应该加上相应空格

例如下面的区别

通过xpath可以正确取得img的src地址,通过printf输出src后点击src地址可以打开网页看到图片,只是下载不了。

尝试增加,headers和cookies后无法还是无法下载。

并且返回值是404

通过尝试发现xpath获得的地址带有空格,导致requests.get(src)是提交给服务器的地址也带空格服务器找不到指定地址返回404

通过 string.replace(" ", "")去除空格

可以解决问题

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值