scrapy 框架学习 — 注意事项
记录scrapy 框架学习过程中,遇到的一些坑
开发环境 windows 7 + vs code + python 3.8
问题一,在测试管道下载图片过程中,无论如何都无法调用自己编写的pipline类(继承至 ImagesPipeline),也没有任何相关提示
解决办法:
- 安装 pillow
最开始没注意到这个库,安装后,可以调用到自己编写pipline类了
pip install pillow
- settings中配置的路径问题
网上貌似都是在ubuntu或mac os下开发的,而我的开发环境是在Windows下,设置的保持路径一直有问题,需要在路径前,添加一个小‘r’,防止字符转义。
IMAGES_STORE = r'D:\\images'
以上,持续更新