这期我们简单介绍一下scrapy框架,并使用该框架做一个小小的案例
一、简单介绍scrapy框架
Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。
Scrapy框架主要由五大组件组成,它们分别是调度器(Scheduler)、下载器(Downloader)、爬虫(Spider)和实体管道(Item Pipeline)、Scrapy引擎(Scrapy Engine)。
二、简单介绍如何使用scrapy生成一个项目
创建一个项目
scrapy startproject 项目名称
创建爬虫前需要先进入到刚才创建的项目中,然后通过命令
scrapy genspider 爬虫名 域名
注意:爬虫名字不能跟项目名字重复。
三、分析爬取目标网站结构
可以看到我们所需要的内容都在<dd class="item">
这个标签下
四、编写程序
这里我们主要使用xpath
import scrapy
import time
from zhong.items import ZhongpinItem
class ZhongSpider(scrapy.Spider):
name = 'zhaopin'
allowed_domains = ['域名']
start_urls = ['爬取目标网站']
def parse(self, response):
divs = response.xpath('//dd[@class="item"]')
# 用于拼接url
url = '填写URL'
for div in divs:
item = ZhongItem() # 实例化
gongsi_name = div.xpath('.//span[@c