创建scrapy项目

1、使用pycharm新建空白工程（一种方法）

2、打开pycharm的Terminal终端（Windows的cmd）

• 用scrapy框架创建项目

scrapy startproject 项目名称

• 创建爬虫

cd spider（项目名称）
scrapy genspider sina sina.com （爬虫名称 网站名称）

• 项目结构
  

3、使用cmd创建scrapy项目，然后用pycharm打开项目即可（另一种方法）

4、运行项目

• 首次运行安装win32apipip install pypiwin32
• 在settings.py中将ROBOTSTXT_OBEY = False
• scrapy crawl 爬虫名称

scrapy crawl kuqin

• 也可以新建main.py运行项目

from scrapy.cmdline import execute

import sys
import os

sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "kuqin"])