Scrapy 实战步骤 + Scrapy 中文学习网址

# 1

pip install scrapy    # 安装scrapy
scrapy startproject Tencent   # 新建一个爬虫项目

cd Tencent/Tencent
scrapy genspider tencent 'www.baidu.com'   # 生成一个爬虫文件  
注意： name  ==  spiders/xxspider_name.py 中的name的名字

写完tencent.py提取数据 >  再到pipelines.py存储数据 > 管道写好, settings.py启用

scrapy crawl name    # 运行爬虫
scrapy check name   # 检测爬虫

 

# 2

为了便于利用xpath,  在浏览器>扩展程序中 安装一个xpath , 便于匹配。

# 3

Scrapy 中文学习网址

https://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html