Scrapy安装及爬虫示例
一、Windows下载安装python3.9.6,配置环境变量
二、安装scrapy
cmd命令
pip install scrapy
三、创建运行项目
创建项目:
scrapy startproject pytest
注意:新建项目需要将settings.py配置文件的 ROBOTSTXT_OBEY = True 改为 False
示例:爬取百度首页
创建爬虫文件:scrapy genspider baidu-spider www.baidu.com
查看爬虫列表:scr...
原创
2021-07-29 11:44:42 ·
67 阅读 ·
0 评论