1、使用pycharm新建空白工程(一种方法)
2、打开pycharm的Terminal终端(Windows的cmd)
- 用scrapy框架创建项目
scrapy startproject 项目名称
- 创建爬虫
cd spider(项目名称)
scrapy genspider sina sina.com (爬虫名称 网站名称)
- 项目结构
3、使用cmd创建scrapy项目,然后用pycharm打开项目即可(另一种方法)
4、运行项目
- 首次运行安装win32api
pip install pypiwin32
- 在settings.py中将
ROBOTSTXT_OBEY = False
- scrapy crawl 爬虫名称
scrapy crawl kuqin
- 也可以新建main.py运行项目
from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "kuqin"])