Scrapy 框架介绍与简单案例

最新推荐文章于 2024-06-22 16:33:22 发布
最新推荐文章于 2024-06-22 16:33:22 发布
阅读量2.7k 收藏 14
点赞数
分类专栏： Python学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GXH_APOLOGIZE/article/details/79010585
版权
一、Scrapy介绍
  • Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛
  • Scrapy 使用了 Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求
  • 官网：http://doc.scrapy.org/en/latest
  • 中文维护站点：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html
二、Scrapy安装

参考文档：https://doc.scrapy.org/en/latest/intro/install.html#intro-install-platform-notes

我是在Ubuntu16.04下安装的：
- 安装非Python依赖：

sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
  • 通过pip安装：
sudo pip install scrapy
三、Scrapy项目目录介绍

我们先建一个Scrapy项目，项目名teshi：

scrapy startproject teshi

项目目录结构如下：
目录结构

  • scrapy.cfg ：项目的配置文件
  • teshi/ ：项目的Python模块，将会从这里引用代码
  • teshi/items.py ：项目的目标文件
  • teshi/pipelines.py ：项目的管道文件
  • teshi/settings.py ：项目的设置文件
  • teshi/spiders/ ：存储爬虫代码目录
四、项目流程与第一个入门案例

这个案例是爬取某机构官网教师信息，通过这个案例可以对Scrapy框架使用有一个基本了解。
1、新建项目mySpider

scrapy startproject mySpider

2、修改项目设置文件mySpider/settings.py

DEFAULT_REQUEST_HEADERS = {
         'User-Agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;',
         'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
 #   'Accept-Language': 'en',
 }

3、修改项目目标文件mySpider/items.py，定义结构化数据字段，用来保存爬取到的数据

1 # -*- coding: utf-8 -*-
  2 
  3 # Define here the models for your scraped items
  4 #
  5 # See documentation in:
  6 # http://doc.scrapy.org/en/latest/topics/items.html
  7 
  8 import scrapy
  9 
 10 
 11 class MyspiderItem(scrapy.Item):
 12     # define the fields for your item here like:
 13 
 14     name = scrapy.Field()
 15     title=scrapy.Field()
 16     info=scrapy.Field()
 17     #pass

4、编写爬虫代码，在mySpider/mySpider/spiders目录下新建itcastSpider.py（可以命令创建，后期介绍，这里手动创建吧）

1 # coding:utf-8
  2 
  3 import scrapy
  4 from mySpider.items import MyspiderItem
  5 
  6 class ItcastSpider(scrapy.Spider):
  7     # 爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字
  8     name="itcast"
  9     # 爬虫的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略
 10     allowd_domains=["itcast.cn"]
 11     # 爬虫起始的url
 12     start_urls=("http://www.itcast.cn/channel/teacher.shtml#",)
 13 
 14     # 解析的方法，每个初始url完成下载将被用
 15     def parse(self,response):
 16         teacher_list=response.xpath('//div[@class="li_txt"]')
 17         # 保存信息的集合
 18         teacherItem=[]
 19         for each in teacher_list:
 20             teacher_name=each.xpath('./h3/text()').extract()[0]
 21             teacher_title=each.xpath('./h4/text()').extract()[0]
 22             teacher_info=each.xpath('./p/text()').extract()[0]
 23 
 24             item=MyspiderItem()
 25             item['name']=teacher_name
 26             item['title']=teacher_title
 27             item['info']=teacher_info
 28 
 29             teacherItem.append(item)
 30 
 31         return teacherItem

5、执行程序
scrapy crawl 爬虫的识别名称 -o 文件名加后缀

# json格式，默认为Unicode编码
scrapy crawl itcast -o teachers.json

# json lines格式，默认为Unicode编码
scrapy crawl itcast -o teachers.jsonl

# csv 逗号表达式，可用Excel打开
scrapy crawl itcast -o teachers.csv

# xml格式
scrapy crawl itcast -o teachers.xml

注意：
parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用如下：

(1). 负责解析返回的网页数据(response.body)，提取结构化数据(生成item)
(2). 生成需要下一页的URL请求。

五、入门案例补充之管道文件

先回顾下yield的作用：

  • 让函数暂停，返回一个值
  • 等待下次调用，从上次停止的地方执行

上面案例是我们用一个集合保存结果然后处理的，下面我们使用管道文件处理。 这个案例基于上个案例的代码：

1、修改我们爬虫代码，使用yield

1 # coding:utf-8
  2 
  3 import scrapy
  4 from mySpider.items import MyspiderItem
  5 
  6 class ItcastSpider(scrapy.Spider):
  7     # 爬虫的识别名称
  8     name="itcast"
  9     # 爬虫的域名范围
 10     allowd_domains=["itcast.cn"]
 11     # 爬虫起始的url
 12     start_urls=("http://www.itcast.cn/channel/teacher.shtml#",)
 13 
 14     # 解析的方法，每个初始url完成下载将被用
 15     def parse(self,response):
 16         teacher_list=response.xpath('//div[@class="li_txt"]')
 17         # 保存信息的集合
 18         teacherItem=[]
 19         for each in teacher_list:
 20             teacher_name=each.xpath('./h3/text()').extract()[0]
 21             teacher_title=each.xpath('./h4/text()').extract()[0]
 22             teacher_info=each.xpath('./p/text()').extract()[0]
 23 
 24             item=MyspiderItem()
 25             item['name']=teacher_name
 26             item['title']=teacher_title
 27             item['info']=teacher_info
 28 
 29             yield item

2、修改项目设置文件

ITEM_PIPELINES = {
     'mySpider.pipelines.ItcastPipeline': 300,
 }

3、编写管道文件mySpider/mySpider/pipelines

1 # -*- coding: utf-8 -*-
  2 
  3 # Define your item pipelines here
  4 #
  5 # Don't forget to add your pipeline to the ITEM_PIPELINES setting
  6 # See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
  7 
  8 import json
  9 
 10 class ItcastPipeline(object):
 11     # 初始化方法，根据需要可选
 12     def __init__(self):
 13         self.fileName=open("teacher.json","w")
 14 
 15     # 处理数据,这个方法必须有    
 16     def process_item(self, item, spider):
 17         jsontext=json.dumps(dict(item),ensure_ascii=False)+"\n"
 18         self.fileName.write(jsontext.encode("utf-8"))
 19         return item
 20 
 21     # 根据需要可选
 22     def close_spider(self,spider):
 23         self.fileName.close()

4、执行程序
这个itcast是爬虫代码中的name值

scrapy crawl itcast
六、腾讯招聘案例

1、新建项目tencent

scrapy startproject tencent

2、编写items.py文件

2 
  3 # Define here the models for your scraped items
  4 #
  5 # See documentation in:
  6 # http://doc.scrapy.org/en/latest/topics/items.html
  7 
  8 import scrapy
  9 
 10 
 11 class TencentItem(scrapy.Item):
 12     # define the fields for your item here like:
 13     # 职位名
 14     positionName = scrapy.Field()
 15     # 详情链接
 16     positionLink=scrapy.Field()
 17     # 职位类别
 18     positionType=scrapy.Field()
 19     # 招聘人数
 20     peopleNum=scrapy.Field()
 21     # 工作地点
 22     workLocation=scrapy.Field()
 23     # 发布时间
 24     publishTime=scrapy.Field()

3、编写爬虫代码，这里可以用命令生成代码模板
scrapy genspider 爬虫文件名 域名

scrapy genspider tencentSpider "tencent.com"
1 # -*- coding: utf-8 -*-
  2 import scrapy
  3 from tencent.items import TencentItem
  4 
  5 
  6 class TencentspiderSpider(scrapy.Spider):
  7     name = "tencentSpider"
  8     allowed_domains = ["tencent.com"]
  9 
 10     url="http://hr.tencent.com/position.php?&start="
 11     offset=0
 12     start_urls = [
 13         url+str(offset)
 14     ]
 15 
 16     def handleResult(self,result):
 17         if len(result)>=1:
 18             return result.extract()[0]
 19         else:
 20             return " "
 21 
 22     def parse(self,response):
 23         #print '----------'
 24         for each in response.xpath("//tr[@class='even'] | //tr[@class='odd']"):
 25 
 26             # 实例化模型对象
 27             item=TencentItem()
 28             item['positionName']=self.handleResult(each.xpath("./td[1]/a/text()"))
 29             item['positionLink']=self.handleResult(each.xpath("./td[1]/a/@href"))
 30             item['positionType']=self.handleResult(each.xpath("./td[2]/text()"))
 31             item['peopleNum']=self.handleResult(each.xpath("./td[3]/text()"))
 32             item['workLocation']=self.handleResult(each.xpath("./td[4]/text()"))
 33             item['publishTime']=self.handleResult(each.xpath("./td[5]/text()"))
 34 
 35             # 将数据交给管道文件处理
 36             yield item
 37             #print item['positionName']+'----------------'
 38 
 39         if self.offset<500:
 40             self.offset+=10
 41 
 42         # 将请求重新发送给调度器入队列，出队列，交给下载器下载
 43         yield scrapy.Request(self.url+str(self.offset),callback=self.parse)

4、编写管道文件

1 # -*- coding: utf-8 -*-
  2 
  3 # Define your item pipelines here
  4 #
  5 # Don't forget to add your pipeline to the ITEM_PIPELINES setting
  6 # See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
  7 
  8 import json
  9 
 10 class TencentPipeline(object):
 11 
 12     def __init__(self):
 13         self.filename=open("tencent.json","w")
 14 
 15     def process_item(self, item, spider):
 16         text=json.dumps(dict(item),ensure_ascii=False)+"\n"
 17         self.filename.write(text.encode("utf-8"))
 18         return item
 19 
 20     def close_spider(self,spider):
 21         self.filename.close()

5、修改项目设置文件

DEFAULT_REQUEST_HEADERS = {
         'User-Agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;',
         'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
 #   'Accept-Language': 'en',
 }

 ####省略
 DOWNLOAD_DELAY = 3
 ####省略
  ITEM_PIPELINES = {
     'tencent.pipelines.TencentPipeline': 300,
 }

6、执行代码

scrapy crawl tencentSpider
gxh_apologize
关注
  • 0
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬虫框架 Scrapy 详解
m0_67403076的博客
07-31 1万+
Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy是一个框架，可以根据需求进行定制。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。...
Python爬虫 Scrapy框架测试案例
03-20
Python爬虫 Scrapy框架测试案例
Scrapy - Spiders详解
rossisy的博客
10-29 2165
Spiders是Scrapy中最重要的地方，它定义了如何爬取及解析数据，可以说Spiders是Scrapy框架中的核心所在。 对Spiders来说，一般工作的步骤如下： 根据初始的URLs生成Requests对象并指定处理requests对象response的回调方法。初始的URLs是由spider的start_urls属性指定的，然后默认调用start_requests方法生成对应的
python-scrapy(爬虫框架)
yuzheh521的博客
04-10 817
（1）scrapy是什么？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理 或存储历史数据等一系列的程序中 # （1） pip install scrapy # (2) 报错1： building 'twisted.test.raiser' extension # error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C
Python爬虫学习 | Scrapy框架详解
最新发布
m0_65482549的博客
06-22 1820
何为框架，就相当于一个封装了很多功能的结构体，它帮我们把主要的结构给搭建好了，我们只需往骨架里添加内容就行。scrapy框架是一个为了爬取网站数据，提取数据的框架，我们熟知爬虫总共有四大部分，请求、响应、解析、存储，scrapy框架都已经搭建好了。scrapy是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架，scrapy使用了一种非阻塞（又名异步）的代码实现并发的，Scrapy之所以能实现异步，得益于twisted框架。
Python笔记——scrapy爬虫框架
微生成白
02-19 146
1. scrapy框架介绍 — — python使用的最广泛的爬虫框架。
Scrapy框架(基础命令、选择器、spider、Item Pipeline组件类，分布式架构)
leadingme的博客
04-02 642
基础命令 scrapy3 startproject demo [project_dir]在project_dir目录下创建一个Scrapy项目。如果project_dir未指定，project_dir则与相同myproject。 cd demo 进入到项目内 scrapy genspider mydomain mydomain.com 创建一个蜘蛛爬虫 全局命令： startpr...
完整版Python网络爬虫之Scrapy爬虫框架使用案例教程含源代码共18页.pdf
06-19
本教程将实际操作使用Python Scrapy框架爬取传智播客教师页面教师的个人信息。 爬取页面网址：http://www.itcast.cn/channel/teacher.shtml#ac Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于...
Python爬虫Scrapy框架CrawlSpider原理及使用案例
01-21
方法一：基于Scrapy框架中的Spider的递归爬去进行实现的(Request模块回调) 方法二：基于CrawlSpider的自动爬去进行实现(更加简洁和高效) 一、简单介绍CrawlSpider 　CrawlSpider其实是Spider的一个子类，除了继承到...
scrapy框架-表情包爬虫
10-28
Scrapy框架是一个强大的Python爬虫框架，专为数据抓取和网页解析设计。它构建在Twisted异步网络库之上，使得爬虫可以处理大量并发请求，极大...对于想要学习Python爬虫和Scrapy框架的人来说，这是一个很好的实践案例。
scrapy爬虫框架的案例总结
06-22
主要讲解了利用Python语言使用scrapy爬虫框架的一些案例
python scrapy框架df_Python爬虫之Scrapy框架结构
weixin_39786155的博客
11-26 71
Scrapy项目结构scrapy.cfgmyproject/__init__.pyitems.pypipelines.pysettings.pyspiders/__init__.pyspider1.pyspider2.py...文件介绍：scrapy.cfg:项目的配置文件myproject/:项目的Python模块，将会从这里引用代码myproject/items.py:项目的目标文件mypro...
scrapy基础(附案例)
ljf_ljfnb的博客
06-06 82
Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。
玩转 Scrapy 框架 (一)：Scrapy 框架介绍及使用入门
Amo Xiang的博客
12-20 1万+
本文我们通过抓取Quotes网站完成了整个Scrapy的简单入门，到此为止我们应该能对Scrapy的基本用法有一个初步的概念了。不过本文内容仅仅是Scrapy所有功能的冰山一角，还有很多内容等待我们去探索，我们后续文章继续学习。
Python scrapy框架(01)：scrapy介绍 初识scrapy
weixin_52245535的博客
01-16 3734
最近在整理资料，顺便把部分干货写出来供学习以交流一、scrapy的介绍。
Python爬虫基础之Scrapy框架详解
程序园@大Null
12-01 2802
围绕 Scrapy 库展开讲解的爬虫教程。
scrapy爬虫框架
热门推荐
m0_64336780的博客
09-24 1万+
Scrapy 是一个用于抓取网站和提取结构化数据的应用程序框架，可 用于各种有用的应用程序，如数据挖掘、信息处理或历史存档。 尽管 Scrapy 最初是为网络抓取而设计的，但它也可用于使用 API提取数据或用作通用网络爬虫。
Python爬虫入门：详解Scrapy爬虫框架的基本使用（附零基础学习资料）
Python单行客的博客
10-27 4336
Python爬虫入门：详解Scrapy爬虫框架的基本使用（附零基础学习资料）
Scrapy入门教程实例
HanpengChen的博客
07-23 1万+
Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 scrapy的整体框架如下所示： Scrapy主要包含了以下几个组件： 引擎（Scrapy）：用来处理整个系统的数据流，触发事务（框架核心）。 调度器（Scheduler）：用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的...
scrapy框架爬虫案例
08-16
下面是一个基于Scrapy框架的简单爬虫案例和详细教程。 首先，确保你已经安装好了Scrapy框架。可以通过运行以下命令来安装： ``` pip install scrapy ``` 接下来，创建一个新的Scrapy项目，命名为`my_spider`，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值