通过命令创建第一个蜘蛛
首先我们要进入项目所在的目录
cd 项目目录
执行创建蜘蛛的命令
创建蜘蛛的命令格式如下scrapy genspdier 蜘蛛名称 要抓取的网站域名
一个项目中可以有多个蜘蛛
scrapy genspdier weather baidu.com
#此命令默认会在当前项目中自动生成一个蜘蛛文件
此时项目spiders文件夹中多出来一个文件
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cd5vceNG-1570697334771)(http://doc.mymyjd.cn/python%E7%88%AC%E8%99%AB%E6%A1%86%E6%9E%B6%E5%85%A5%E9%97%A8/images/5.png “项目结构”)]
文件中会有默认生成如下的代码
import scrapy
class WeatherSpider(scrapy.Spider):
name = 'weather'
allowed_domains = ['baidu.com']
start_urls = ['https://www.baidu.com/']
def parse(self, response):
pass
至此第一个蜘蛛就创建好了
接下来,我们写一个抓取百度天气数据的demo