PySpider API介绍

self.crawl

主要告诉pyspider需要爬取的网址

url

需要爬取的url列表

callback

这个参数用来指定爬取内容后需要哪个方法来处理内容．一般解析为 response. default: _ call __　如下面调用方法：

例子

def on_start(self):
    self.crawl('http://scrapy.org/', callback=self.index_page)

age

任务有效期，以秒为单位，在有效期内爬虫认为该页面没有更改，则在有效期内爬虫会忽略该网址的信息爬取,下面例子每一个回调index_page的任务有效期是10天，在10天之内再遇到这个任务都会被忽略掉（除非有强制抓取参数才不会忽略）

例子

# 这里表示60秒*60分*24小时*10天，即10天内不会改变
@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
    ...

priority

爬取优先级，数字越大优先级越大，默认为0，可以用这个来先做宽度搜索BFS

例子

# 默认为先执行第二句
def index_page(self):
    self.crawl('http://www.example.org/page2.html', callback=self.index_page)
    self.crawl('http://www.example.org/233.html', callback=self.detail_page,
               priority=1)

exetime

爬取任务定时，默认为0，就是即时爬取，下面例子是30分钟后爬取

例子

# 默认为先执行第二句
import time
def on_start(self):
    self.crawl('http://www.example.org/', callback=self.callback,
               exetime=time.time()+30*60)

retries

失败重新执行次数，默认3次

itag

任务标记值，此标记会在抓取时对比，如果这个值发生改变，不管有效期有没有到都会重新抓取新内容．多数用来动态判断内容是否修改或强制重爬．默认值是：None.

例子

#.update-time字段值改变，则无论有效期多少，重新爬取
# 默认为先执行第二句
import time
def index_page(self, response):
    for item in response.doc('.item').items():
        self.crawl(item.find('a').attr.url, callback=self.detail_page,
                   itag=item.find('.update-time').text())

# 也可以在Handler.crawl_config里面设置
class Handler(BaseHandler):
    crawl_config = {
        'itag': 'v223'
    }

auto_recrawl

当设置为True时，任务每过一次有效期（age）都会自动重新爬取，默认值为False

例子

def on_start(self):
    self.crawl('http://www.example.org/', callback=self.callback,
               age=5*60*60, auto_recrawl=True)

method

HTTP请求，默认为GET

params

URL后面的请求参数，字典

例子

def on_start(self):
    self.crawl('http://httpbin.org/get', callback=self.callback,
               params={'a': 123, 'b': 'c'})
    self.crawl('http://httpbin.org/get?a=123&b=c', callback=self.callback)

data

POST请求参数，字典值会form-encode后再附加

例子

def on_start(self):
    self.crawl('http://httpbin.org/post', callback=self.callback,
               method='POST', data={'a': 123, 'b': 'c'})

files

headers

自定义请求头，字典类型，可在config里设置

cookies

自定义请求的cookies，字典类型

connect_timeout

指定请求时链接超时时间,单位秒，默认值：20

timeout

请求内容里最大等待秒数．默认值：120

allow_redirects

遇到30x状态码时是否重新请求跟随．默认是：True.

validate_cert

遇到HTTPS类型的URL时是否验证证书，默认值：True.

proxy

设置代理服务器，格式如 username:password@hostname:port .暂时只支持http代理

例子

class Handler(BaseHandler):
    crawl_config = {
        'proxy': 'localhost:8080'
    }

etag

last_modified

fetch_type

设置是否启用JavaScript解析引擎. default: None

例子

    def on_start(self):
        self.crawl('http://xueqiu.com/today/all', callback=self.index_page, fetch_type='js')

js_script

使用javascript来模拟操作页面

例子

def on_start(self):
    self.crawl('http://www.example.org/', callback=self.callback,
               fetch_type='js', js_script='''
               function() {
                   window.scrollTo(0,document.body.scrollHeight);
                   return 123;
               }
               ''')

js_run_at

js_viewport_width/js_viewport_height

load_images

当开启js fetcher时，是否读取图片，默认为False

save

传递一个对象给任务，在任务解析时可以通过response.save来获取传递的值

例子

# 在回调里123将被返回
def on_start(self): 
    self.crawl('http://www.example.org/', callback=self.callback,save={'a': 123}) def callback(self, response): return response.save['a']

taskid

force_update

@config(**kwargs)

@config(age=15*60)
def index_page(self, response):
# 第一句运行15分钟，第二句运行10天，受到detail的时间影响
    self.crawl('http://www.example.org/list-1.html', callback=self.index_page)
    self.crawl('http://www.example.org/product-233', callback=self.detail_page)

@config(age=10*24*60*60)
def detail_page(self, response):
    return {...}

Handler.crawl_config = {}

整个project的参数设置，字典类型

class Handler(BaseHandler):
    crawl_config = {
        'headers': {
            'User-Agent': 'GoogleBot',
        }
    }
    ...