项目生成
在terminal(终端)中,进入到spiders(项目目录亦可)目录,输入并执行下面一行命令:
# scrapy genspider 爬虫的名字 "初始的url"
scrapy genspider baidu "www.baidu.com"
在spiders目录里面会生成一个名为baidu
的爬虫文件,它以系统模板生成的。
# -*- coding: utf-8 -*-
import scrapy
class BaiduSpider(scrapy.Spider):
# 爬虫文件的名称:就是爬虫源文件的一个唯一标识
name = 'baidu'
# 允许的域名:用来限定start urls列表中哪些url可以进行请求发送
allowed_domains = ['www.baidu.com']
# 起始url列表:该列表中存放的url会被scrapy自动进行请求的发送
start_urls = ['http://www.baidu.com/']
# 用作于数据解析:response参数表示的就是请求成功后对应的响应对象
def parse(self, response):
pass
当然,也可以不用命令生成,可以自己创建文件,只不过使用命令创建的时候可以免去编写固定代码的麻烦。