Python爬虫Scrapy框架 从安装到项目创建

1. 安装

pip install scrapy
pip install pywin32  # Windows系统下安装

2. 查看当前Scrapy框架版本

>>>import scrapy
>>>scrapy.version_info

3. 创建项目

scrapy startproject 项目名称  # 可以进入创建好的虚拟环境中创建项目

# 例如
scrapy startproject myspider

4. 创建爬虫

cd 项目名称
scrapy genspider 爬虫名称 网站域名(一般不写www)  # 注意：爬虫名称 不能与项目名称同名

# 创建规则爬虫
scrapy genspider -t crawl 爬虫名称 网站域名

# 例如
cd myspider
scrapy genspider baidu baidu.com