基于Scrapy框架的网络爬虫开发流程

前节介绍了什么网络爬虫,什么是Scrapy框架并如何安装
本节介绍基于Scrapy框架的网络爬虫开发流程

1. 新建Scrapy爬虫项目

安装好Scrapy框架后,就可以基于Scrapy框架开发爬虫项目了。基于框架开发项目,不需要从零开始编写代码,只需要掌握如何使用框架,如何添加与自己应用相关的代码即可。

进入打算新建爬虫项目的路径中,使用命令:

scrapy startproject project_name

请用爬虫项目名称替换命令中的project_name,例如,本文打算创建一个爬取新浪网的爬虫,取名为sina_spider,则新建爬虫项目的命令为:

scrapy startproject sina_spider

命令运行结果,如下图所示。

新建爬虫项目

“scrapy startproject sina_spider”命令会创建包含下列内容的sina_spider目录,如图13-5所示。

爬虫文件夹结构

2. 创建爬虫文件

新建好Scrapy爬虫项目后,接下来就是创建爬虫文件。请先进入sina_spider项目路径,用命令:

scrapy genspider spider_filename(爬虫文件名) www.xxx.com (待爬取的网站域名)

创建爬虫文件。例如,本文的爬虫文件名为:sinaSpider,待爬取的网站域名:www.sina.com.cn,则创建爬虫文件sinaSpider的命令为:

scrapy genspider sinaSpider www.sina.com.cn

3. 修改settings.py文件

现在很多网站都有防爬虫措施,为了反网站的防爬虫措施,需要添加user agent信息。请settings.py文件的第19行修改如下所示:

18. # Crawl responsibly by identifying yourself (and your website) on the user-agent  

19. import random  

20. # user agent 列表  

21. USER_AGENT_LIST = [  

22.     "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",  

23.     "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",  

24.     "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",  

25.     "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",  

26.     "Mozilla/4.76 [en_jp] (X11; U; SunOS 5.8 sun4u)",  

27.     "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",  

28.     "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0) Gecko/20100101 Firefox/5.0",  

29.     "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:9.0) Gecko/20100101 Firefox/9.0",  

30.     "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:16.0) Gecko/20120813 Firefox/16.0",  

31.     "Mozilla/4.77 [en] (X11; I; IRIX;64 6.5 IP30)",  

32.     "Mozilla/4.8 [en] (X11; U; SunOS; 5.7 sun4u)"  ]    

33. USER_AGENT = random.choice(USER_AGENT_LIST) # 随机生成user agent

网站的服务器中保存一个robots.txt 文件,其作用是,告诉搜索引擎爬虫,本网站哪些目录下的网页不希望被爬取收录。Scrapy启动后,会在第一时间访问网站的 robots.txt 文件,然后决定该网站的爬取范围。

由于本文的项目并非搜索引擎爬虫,而且很有可能我们想要获取的内容恰恰是被 robots.txt所禁止访问的,所以请把settings.py文件的ROBOTSTXT_OBEY值设置为False,表示拒绝遵守Robot协议,如下所示

1. # Obey robots.txt rules  

2. ROBOTSTXT_OBEY = False # False表示拒绝遵守Robot协议 

4. 编写parse()方法

查看由Scrapy生成的sinaSpider.py文件,在SinaspiderSpider类中,有一个parse()方法需要用户编写,如下图所示

编写parse()方法

Scrapy框架把爬取下来的网页源代码存放在response对象中,我们只需要对response对象中的网页源代码做解析,提取想要的数据即可。本范例目标是抓取新浪网页的新闻的标题和对应的链接,如下图所示。

HTML源代码

parse()方法的实现代码,如下所示

1. # -*- coding: utf-8 -*-  

2. import scrapy  

3.   

4. class SinaspiderSpider(scrapy.Spider):  

5.     name = 'sinaSpider'  

6.     allowed_domains = ['www.sina.com.cn']  

7.     start_urls = ['http://www.sina.com.cn/']  

8.   

9.     def parse(self, response):  

10.         data_list = []  #用于存储解析到的数据  

11.         #解析HTML源代码,定位新闻内容  

12.         lis = response.xpath("//div[@class='top_newslist']/ul[@class='list-a news_top']//li")  

13.         #将新闻主题和超链接解析出来并整理到列表中  

14.         for li in lis:  

15.             titles = li.xpath(".//a/text()")  

16.             linkes = li.xpath(".//a/@href")  

17.             for title, link in zip(titles, linkes):  

18.                 #将新闻主题和对应的超链接组合成字典  

19.                 data_dict = {'标题': title.extract(), '链接': link.extract()}  

20.                 #将字典数据存储到data_list这个列表中  

21.                 data_list.append(data_dict)  

22.         return data_list 

parse()方法在解析HTML源代码时,使用了XPath路径表达式。XPath是一门在HTML/XML文档中查找信息的语言,常用于在网页HTML源代码中,查找特定标签里的数据。在网络爬虫中使用XPath,只需要掌握 XPath路径表达式即可。XPath 使用路径表达式来选取 HTML/XML文档中的节点或者节点集。

5. 运行爬虫程序并保存抓取数据

parse()方法编写好后,就可以运行爬虫程序并保存抓取数据了。用命令:

scrapy crawl 爬虫文件名 –o 保存数据文件名.[csv|json|xml]

保存数据的文件格式可以是csv 或 json 或 xml,本例的爬虫文件名为:sinaSpider.py,数据存储选择csv格式,命令为:

scrapy crawl sinaSpider -o sinaNews.csv

运行效果,如下图所示

运行爬虫

到此,本例基于Scrapy框架从零开始实现了一个网络爬虫程序,爬取了新浪网页并从中解析出新闻的标题和对应的超链接,最后把解析出的数据保存为csv文件供后续使用。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值