- 博客(2)
- 收藏
- 关注
原创 解决scrapy下载图片时相对路径转绝对路径的问题
这段时间一直在研究利用scrapy抓取图片的问题,我发觉,用官网的http://doc.scrapy.org/en/0.12/topics/images.html的donwload item images的教程只能处理html中包含绝对路径的图片,对于javascript动态生成
2011-10-11 14:38:11
6061
原创 安装scrapy的各种吐槽
因为最近的任务和抓取网页信息有关,所以开始研究web crawler。网络上开源的爬虫种类很多,我最终决定用scrapy,因为它灵活,强大,而且扩展性强。但是我是个超级菜鸟,所以连配置个scrapy都搞了一天多,期间更是各种吐槽各种恶心。网上有不少类似的教程,但是
2011-10-10 20:45:47
840
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人