Scrapy框架学习笔记(一)

Scrapy框架学习笔记(一)

关于 Spider

---

概念

用于从Scrapy(内部)传递过来的Response对象中,提取数据,并装进Items对象里,然后返回给Scrapy处理

怎么用

• 创建Spider文件

项目/Spiders/

添加Spider类,如:文件名,类名,其属性name的最好一致

• 在文件里写到

import scrape
class 类名(spider):
    name = 类名
    # ...
    # ...

• scrapy 如何启动你写好的spider类

在命令行里,你的根目录下输入:scrapy crawl 类名

• 定制spider的行为

– (默认),提前写好你要分析的url,和通用的parse方法,来决定你要怎么分析URL里Response的内容

– 自定义的,写好你要分析的URL,及其对应的URL的回调函数(非parse),来不同地分析对应URL的response的内容

• 如何分析Response里的内容

– 单纯的填充Item对象,并返回给Spider

– 深度的分析,Response里的其他url,然后在进一步的设计其回调函数

• 其他: 让你的Spider,可以接收从命令行而来的参数

• 其他:如何从Response的内容里,遍历快捷的获取数据

使用selector选择器

• 使用Scrapy内置的多种spider,来实现更多的功能

• 自定义自己的Spider,实现更多你想要的内容