路飞学城linux第三模块考试,路飞学城-爬虫集训营-第三章

学习心得：html

人生苦短，我用python，爬虫深海，我选scrapy。！！python

在学习scrapy的时候真的很累，不少时候看着都会困，由于基础不牢固，看着会感受有点累。。遇到问题一点点的查资料才能填补上，反复的看wusir的视频来学习。每次看都会学到新的东西就比如每次看python核心编程都能学到更多，补充本身不牢固，不知道的知识，总的来讲学习无捷径，只能经过本身认真的努力才能学到更多。别人帮你的始终都是有限的linux

爬虫框架 ---scrapyredis

什么是scrapy?　　编程

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 能够应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。windows

其最初是为了 页面抓取 (更确切来讲, 网络抓取 )所设计的， 也能够应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。api

scrapy的执行流程网络

Scrapy主要包括了如下组件：框架

引擎(Scrapy)

用来处理整个系统的数据流处理, 触发事务(框架核心)

调度器(Scheduler)

用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 能够想像成一个URL(抓取网页的网址或者说是连接)的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址

下载器(Downloader)

用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是创建在twisted这个高效的异步模型上的)

爬虫(Spiders)

爬虫是主要干活的, 用于从特定的网页中提取本身须要的信息, 即所谓的实体(Item)。用户也能够从中提取出连接,让Scrapy继续抓取下一个页面

项目管道(Pipeline)

负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证明体的有效性、清除不须要的信息。当页面被爬虫解析后，将被发送到项目管道，并通过几个特定的次序处理数据。

下载器中间件(Downloader Middlewares)

位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。

爬虫中间件(Spider Middlewares)

介于Scrapy引擎和爬虫之间的框架，主要工做是处理蜘蛛的响应输入和请求输出。

调度中间件(Scheduler Middewares)

介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

流程异步

从调度列表中取出一个URL，抓取而且分析

把url封装成请求传给下载器

下载器把资源下载下来，封装成response

爬虫解析response

解析数据(item)而后交给管道进行持久化处理

scrapy的项目结构：

items.py 负责数据模型的创建，相似于实体类。

middlewares.py 本身定义的中间件。

pipelines.py 负责对spider返回数据的处理。

settings.py 负责对整个爬虫的配置。

spiders目录 负责存放继承自scrapy的爬虫类。

scrapy.cfg scrapy基础配置

Scrapy简单使用

1.安装

linux:

pip/pip3 install scrapy

windows：

pip install pywin32

pip install wheel

pip install twisted.whl#windows不能直接安装须要下载whl文件

pip install scrapy

2.建立项目

scrapy project project_name #建立项目

cd project_name

scrapy genspider 爬虫名字 爬虫网站#建立spider

scrapy crawl 爬虫名字 #运行 --nolog 不带日志

3.解析网页

Scrapy提取数据有本身的一套机制。它们被称做选择器(seletors)，由于他们经过特定的 XPath 或者 CSS 表达式来“选择” HTML文件中的某个部分。

XPath 是一门用来在XML文件中选择节点的语言，也能够用在HTML上。 CSS 是一门将HTML文档样式化的语言。选择器由它定义，并与特定的HTML元素的样式相关连。

Scrapy选择器构建于 lxml 库之上，这意味着它们在速度和解析准确性上很是类似。

response.xpath('//div[@id="content-list"]/div[@class="item"]')

具体选择器使用 ：http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/selectors.html#topics-selectors-ref

4.pipelines

from scrapy.exceptions importDropItemclassPipeline(object):def __init__(self,path):

self.f=None

self.path=path

@classmethoddeffrom_crawler(cls, crawler):

print('File.from_crawler')

path= crawler.settings.get('HREF_FILE_PATH')returncls(path)defopen_spider(self,spider):print('File.open_spider')

self.f= open(self.path,'a+')defprocess_item(self, item, spider):

print('File',item['href'])

self.f.write(item['href']+'\n')

raise DropItem()#后续的 pipeline的process_item方法再也不执行

defclose_spider(self,spider):

print('File.close_spider')

self.f.close()

调用pipelines须要在settings文件里找到ITEM_PIPELINES取消注释~

5.去重规则

1.将访问过的url标识保存到内存(redis)中

2.若是访问过则返回True,不然访问并把标识加入列表中

3.编写类

from scrapy.dupefilter importBaseDupeFilterfrom scrapy.utils.request importrequest_fingerprintclassDupeFilter(BaseDupeFilter):def __init__(self):

self.visited_fd=set()

@classmethoddeffrom_settings(cls, settings):returncls()defrequest_seen(self, request):

fd= request_fingerprint(request=request)if fd inself.visited_fd:returnTrue

self.visited_fd.add(fd)def open(self): #can return deferred

print('开始')def close(self, reason): #can return a deferred

print('结束')

4.在配置文件替换默认去重记录

#修改默认的去重规则#DUPEFILTER_CLASS = 'scrapy.dupefilter.RFPDupeFilter'

DUPEFILTER_CLASS = 'xdb.dupefilters.XdbDupeFilter'