- 博客(2)
- 收藏
- 关注
RSS订阅原创 解决scrapy下载图片时相对路径转绝对路径的问题
这段时间一直在研究利用scrapy抓取图片的问题，我发觉，用官网的http://doc.scrapy.org/en/0.12/topics/images.html的donwload item images的教程只能处理html中包含绝对路径的图片，对于javascript动态生成
2011-10-11 14:38:11
6036
原创 安装scrapy的各种吐槽
因为最近的任务和抓取网页信息有关，所以开始研究web crawler。 网络上开源的爬虫种类很多，我最终决定用scrapy，因为它灵活，强大，而且扩展性强。 但是我是个超级菜鸟，所以连配置个scrapy都搞了一天多，期间更是各种吐槽各种恶心。网上有不少类似的教程，但是
2011-10-10 20:45:47
834
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人