博客来自:http://my.oschina.net/lpe234/blog/342741(http://doc.okbase.net/lpe234/archive/111679.html)
结合官方文档例子,简单整理一下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
import
scrapy
from
myproject.items
import
MyItem
class
MySpider(scrapy.Spider):
name
=
'myspider'
start_urls
=
(
'http://example.com/page1'
,
'http://example.com/page2'
,
)
def
parse(
self
, response):
# collect `item_urls`
for
item_url
in
item_urls:
yield
scrapy.Request(item_url,
self
.parse_item)
def
parse_item(
self
, response):
item
=
MyItem()
# populate `item` fields
# and extract item_details_url
yield
scrapy.Request(item_details_url,
self
.parse_details, meta
=
{
'item'
: item})
def
parse_details(
self
, response):
item
=
response.meta[
'item'
]
# populate more `item` fields
return
item
|
从Spider继承了一个爬虫类,唯一名称 name="myspider", 爬虫默认入口地址 start_urls = () ,元组或列表都可以。
从Spider源码中,可以看到:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
# 代码片段
class
Spider(object_ref):
"""Base class for scrapy spiders. All spiders must inherit from this
class.
"""
name
=
None
def
__init__(
self
, name
=
None
,
*
*
kwargs):
if
name
is
not
None
:
self
.name
=
name
elif
not
getattr
(
self
,
'name'
,
None
):
raise
ValueError(
"%s must have a name"
%
type
(
self
).__name__)
self
.__dict__.update(kwargs)
if
not
hasattr
(
self
,
'start_urls'
):
self
.start_urls
=
[]
|
在Spider初始化时,检查name是否为None,start_urls 是否存在。代码很简单
继续向下看:
1
2
3
4
5
6
7
|
# 代码片段
def
start_requests(
self
):
for
url
in
self
.start_urls:
yield
self
.make_requests_from_url(url)
def
parse(
self
, response):
raise
NotImplementedError
|
到这里很容易看到, start_requests 方法,遍历 start_urls 中的url,并执行 Request请求
默认response处理方法入口,parse函数需要实现,也就是在继承类中重写parse方法。
再看,示例代码中。
1
2
3
4
5
6
|
# 第一个函数
def
parse(
self
, response):
# collect `item_urls`
# 可以理解为:网站的所有导航菜单的超链接集合
for
item_url
in
item_urls:
yield
scrapy.Request(item_url,
self
.parse_item)
|
为默认入口,也就是从父类Spider类中继承过来的(或者说是一个必须要实现的接口),但是需要实现。
在这个函数体中,根据 start_requests (默认为GET请求)返回的 Response,得到了一个 名字为‘item_urls’ 的url集合。
然后遍历并请求这些集合。
再看 Request 源码:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
|
# 部分代码
class
Request(object_ref):
def
__init__(
self
, url, callback
=
None
, method
=
'GET'
, headers
=
None
, body
=
None
,
cookies
=
None
, meta
=
None
, encoding
=
'utf-8'
, priority
=
0
,
dont_filter
=
False
, errback
=
None
):
self
._encoding
=
encoding
# this one has to be set first
self
.method
=
str
(method).upper()
self
._set_url(url)
self
._set_body(body)
assert
isinstance
(priority,
int
),
"Request priority not an integer: %r"
%
priority
self
.priority
=
priority
assert
callback
or
not
errback,
"Cannot use errback without a callback"
self
.callback
=
callback
self
.errback
=
errback
self
.cookies
=
cookies
or
{}
self
.headers
=
Headers(headers
or
{}, encoding
=
encoding)
self
.dont_filter
=
dont_filter
self
._meta
=
dict
(meta)
if
meta
else
None
@
property
def
meta(
self
):
if
self
._meta
is
None
:
self
._meta
=
{}
return
self
._meta
|
其中,比较常用的参数:
url: 就是需要请求,并进行下一步处理的url callback: 指定该请求返回的Response,由那个函数来处理。 method: 一般不需要指定,使用默认GET方法请求即可 headers: 请求时,包含的头文件。一般不需要。内容一般如下:使用 urllib2 自己写过爬虫的肯定知道 Host: media.readthedocs.org User-Agent: Mozilla/5.0 (Windows NT 6.2; WOW64; rv:33.0) Gecko/20100101 Firefox/33.0 Accept: text/css,*/*;q=0.1 Accept-Language: zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3 Accept-Encoding: gzip, deflate Referer: http://scrapy-chs.readthedocs.org/zh_CN/0.24/ Cookie: _ga=GA1.2.1612165614.1415584110; Connection: keep-alive If-Modified-Since: Mon, 25 Aug 2014 21:59:35 GMT Cache-Control: max-age=0 meta: 比较常用,在不同的请求之间传递数据使用的。字典dict型 request_with_cookies = Request(url="http://www.example.com", cookies={'currency': 'USD', 'country': 'UY'}, meta={'dont_merge_cookies': True}) encoding: 使用默认的 'utf-8' 就行。 dont_filter: indicates that this request should not be filtered by the scheduler. This is used when you want to perform an identical request multiple times, to ignore the duplicates filter. Use it with care, or you will get into crawling loops. Default to False. errback: 指定错误处理函数
不出意外的话,接下来就是 Response 的源码:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
# 部分代码
class
Response(object_ref):
def
__init__(
self
, url, status
=
200
, headers
=
None
, body
=
'', flags
=
None
, request
=
None
):
self
.headers
=
Headers(headers
or
{})
self
.status
=
int
(status)
self
._set_body(body)
self
._set_url(url)
self
.request
=
request
self
.flags
=
[]
if
flags
is
None
else
list
(flags)
@
property
def
meta(
self
):
try
:
return
self
.request.meta
except
AttributeError:
raise
AttributeError(
"Response.meta not available, this response "
\
"is not tied to any request"
)
|
参数跟上面的类似。
A Response object represents an HTTP response, which is usually downloaded (by the Downloader) and fed to the Spiders for processing. 可以使用: scrapy shell http://xxxx.xxx.xx >>> dir(response) 查看信息
在继续向下看:
1
2
3
4
5
6
7
|
# 第二个函数
def
parse_item(
self
, response):
item
=
MyItem()
# populate `item` fields
# 相当于导航栏下面的列表页,此时可能还存在分页情况
# and extract item_details_url
yield
scrapy.Request(item_details_url,
self
.parse_details, meta
=
{
'item'
: item})
|
接收到第一个函数得到并遍历的所有url的请求响应Response。并在当前页面中查找了所有的详细实体的初略信息,以及单品详细的url地址。
此时需要继续向下请求,请求详细的实体的页面。
在这个函数中使用到了 item,也可以不使用。直接将信息(比如实体根据导航标签的大体分类),通过Request的meta属性,传递给下一个callback处理函数。
继续向下看:
1
2
3
4
5
|
# 第三个函数
def
parse_details(
self
, response):
item
=
response.meta[
'item'
]
# populate more `item` fields
return
item
|
此时,请求已经得到了实体的具体页面,也就是实体详细页。(比如,根据博客的文章列表点击进入了文章)。
这时需要接收一下,从上一个函数中传递过来的信息。
1
2
3
4
5
|
def
parse_details(
self
, response):
item
=
response.meta[
'item'
]
# 也可以使用如下方式,设置一个默认值
item
=
response.meta.get(
'item'
,
None
)
# 当 'item' key 不存在 meta字典中时,返回None
|
然后在在本页中使用 xpath,css,re等来选择详细的字段,至于具体的选择,以后再说吧~~~本来想简单的写点,然后就这么多了 ... ...
最后将最终得到的 item 返回即可。这样就能在 ITEM_PIPELINES 中得到数据,并进行下一步的处理了~~~