scrapy
文章平均质量分 55
__顾影自怜
这个作者很懒,什么都没留下…
展开
-
scrapy错误
版本:python3.6错误类型:ModuleNotFoundError: No module named 'win32api'原因:缺少模块 'win32api'解决方法:pip install pypiwin32原创 2018-05-03 15:09:47 · 292 阅读 · 0 评论 -
scrapy实战一:爬取boss直聘信息,存入mysql数据库
scrapy版本:1.5python版本:3.6系统:windows网站链接: www.zhipin.com1 创建项目CTRL+R 输入cmd打开DOS窗口,输入如下命令创建项目(可自定义项目位置)scrapy startproject job_demo 从图片中可以看到,你可以进入你的项目然后创建你的spidercd Job_demo新建spider蜘蛛scrapy genspider j...原创 2018-06-03 18:48:54 · 1725 阅读 · 0 评论 -
scrapy实战二:爬去谍调网图片并下载
准备导入polliw模块在setting中添加并下载需要了解Scrapy提供了一个 ItemPipeline ,来下载属于某个特定项目的图片,比如,当你抓取产品时,也想把它们的图片下载到本地。这条管道,被称作图片管道,在 ItemPipeline 类中实现,提供了一个方便并具有额外特性的方法,来下载并本地存储图片:将所有下载的图片转换成通用的格式(JPG)和模式(RGB)避免重新下载最近已经下载过...原创 2018-06-07 20:22:30 · 4660 阅读 · 0 评论