scrapy安装 以及初级使用 修改存放数据路径

最近在看scrapy一个知乎的初级教程

安装 使用国内源

pip install -i https://pypi.douban.com/simple/   scrapy

1.scrapy startproject zimulku 创建一个项目

2.cd zimuku 进入项目目录

3.scrapy genspider demo http://zimuku.net 创建第一个爬虫

4.从 /spiders/demo.py: 开始第一个demo 这里需要 from zimuku.items import ZimukuItem 这个时候需要查看下环境变量

import sys

print(sys.path)

因为导入的是zimuku\zimuku\ 下的items.py 这个时候 如果环境变量没有这个路径会报错

sys.path.append(os.path.dirname(os.path.dirname(sys.path[0])))
sys.path.append(os.path.dirname(sys.path[0]))
这个时候把路径添加到环境变量就行了

5.项目运行的时候有个报错 import win32api错误
这个时候从http://sourceforge.net/projects/pywin32/files%2Fpywin32/这下载你对应的python版本的接口安装

转载于:https://www.cnblogs.com/diandian-d/p/7998019.html