目前只针对普通html的记录 先说xpath提取内容,再说img 下载失败
先说症状 xpath 网页端可以找到相应内容,编译环境里找不到内容。
尝试解决
1、判断网页是否能通过编译器requests.get(url)下载到本地,不能下载加上headers和cookies试试。
2、下载后,通过编译环境在浏览器中打开网页
3、复制服务器上的xpath表达式到,编译环境打开的网页中查找,发现第一次找不到内容,刷新后又能找到内容。
4、代码比对,发现下载的网页第一次加载会在html目标元素查找元素里多了一个空格,刷新后又没有那个空格了,所以xpath查询语句中也应该加上相应空格
例如下面的区别
通过xpath可以正确取得img的src地址,通过printf输出src后点击src地址可以打开网页看到图片,只是下载不了。
尝试增加,headers和cookies后无法还是无法下载。
并且返回值是404
通过尝试发现xpath获得的地址带有空格,导致requests.get(src)是提交给服务器的地址也带空格服务器找不到指定地址返回404
通过 string.replace(" ", "")去除空格
可以解决问题