本文介绍了一位开发者使用Python和PyQuery编写爬虫程序抓取唯品会连衣裙搜索结果页图片的过程，包括设置超时避免程序卡死、处理网络异常、动态解析页面以及创建和保存图片的细节。遇到的问题主要有长时间无响应、网络异常、动态内容解析和文件路径不存在等，这些问题都得到了相应的解决方案。
一、前言
由于项目需要，写了一个爬虫程序。用它解析唯品会中连衣裙的搜索结果页面（结果不止一页，需要循环解析），获取连衣裙的图片url（唯品会搜索结果页上的图片会有正反两张），然后把图片下载下来。因为以前用过一点JQuery，所以这里选择PyQuery。看中的是它强大的’选择器’，可以方便的取到我需要的标签，并且后续的取属性等操作也很方便。
二、遇到的问题
1.长时间无响应（
卡死）
程序中使用
urlopen打开下载网页和图片。我以为会有默认超时时间，并未设置。发现程序会卡死之后，我查阅了文档。
urllib2.
urlopen
(
url[, data[, timeout[, cafile[, capath[, cadefault[, context]]]]]
)
最低0.47元/天 解锁文章
扫一扫
578
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
