入门Python爬虫:使用Scrapy框架爬取小说教程及代码实例


前言

相信学Python爬虫的小伙伴听说过Scrapy框架,也用过Scrapy框架。
今天我们边学习Scrapy框架边爬取整部小说,让大家在不知不觉的学习过程中使用Scrapy框架完成整部小说的爬取~
在这里插入图片描述


一、Scrapy框架简单介绍

Scrapy框架是一个基于Twisted的异步处理框架,是纯Python实现的爬虫框架,是提取结构性数据而编写的应用框架,其架构清晰,模块之间的耦合程度低,可扩展性极强,我们只需要少量的代码就能够快速抓取数据。

其框架如下图所示:
在这里插入图片描述
Scrapy Engine是整个框架的核心,而涉及到我们编写代码的模块一般只有Item Pipeline模块和Spiders模块。

二、创建Scrapy项目

首先我们通过以下代码来创建Scrapy项目,执行代码如下图所示:

Scrapy startproject Fiction

运行结果如下图所示:
在这里插入图片描述
通过上图可知,我们在C盘创建了一个新的Scrapy项目,项目名为Fiction,而且还提示我们可以通过以下命令创建第一个Spider爬虫,命令如下所示:

cd Fiction          #进入目录
scrapy genspider example example.com    #创建spider爬虫

其中example是我们爬虫名,example.com是爬虫爬取的范围,也就是网站的域名。

Fiction文件夹内容如下图所示:

在这里插入图片描述

三、创建Spider爬虫

在上面的步骤我们成功创建了一个Scrapy项目,而且知道如何创建Spider爬虫,接下来我们创建名为fiction的Spider爬虫,其域名为www.17k.com,代码如下所示:

scrapy genspider fiction www.17k.com

运行后,spiders文件夹中多了我们刚才创建fiction.py,这个就是我们创建的Spider爬虫。

如下图所示:

在这里插入图片描述
看到这么多py文件是不是慌了,其实不用慌,一般情况我们主要在刚创建的spider爬虫文件、items.py和pipelines.py进行编写代码,其中:

  • fiction.py:主要编写代码定义爬取的逻辑,解析响应并生成提取结果和新的请求;
  • items.py:主要先定义好爬取数据的字段,避免拼写错误或者定义字段错误,当然我们可以不先定义好字段,而在fiction.py中直接定义;
  • pipelines.py:主要是编写数据清洗、验证和存储数据的代码,当我们把数据存储在csv、xml、pickle、marshal、json等文件时,就不需要在pipelines.py中编写代码了,只需要执行以下代码即可:
scrapy crawl fiction 文件名.后缀

当数据需要保存在MongoDB数据库时,则编写以下代码即可:

from pymongo import  MongoClient
client=MongoClient()
collection=client["Fiction"]["fiction"]class Test1Pipeline:
    def process_item(self, item, spider):
        collection.insert(item)
        return item

四、Spider爬虫提取数据

在提取数据前,首先我们进入要爬取小说网站并打开开发者工具,如下图所示:
在这里插入图片描述
在这里插入图片描述
我们通过上图可以发现,<dl class="Volume">存放着我们所有小说章节名,点击该章节就可以跳转到对应的章节页面,所以可以使用Xpath来通过这个div作为我们的xpath爬取范围,通过for循环来遍历获取每个章节的名和URL链接。

跳转章节内容页面后,打开开发者工具,如下图所示:

在这里插入图片描述
通过上图可以发现,小说内容存储在<div class="readAreaBox">里面,我们可以通过for循环来遍历该dl中的<div class="p">获取到章节的全部内容,当然也是通过使用Xpath来获取。

五、items.py代码定义字段

细心的小伙伴就发现了,我们所需要提前的字段有章节名、章节URL链接和章节内容,其中章节名和章节内容是需要进行数据保存的,所以可以先在items.py文件中定义好字段名,具体代码如下所示

  • 14
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 好的,下面是一个Python爬虫框架Scrapy实例,包括如何定义爬虫使用Scrapy框架中的其他功能。 首先,您需要安装Scrapy。您可以使用以下命令在命令行中安装Scrapy: ``` pip install scrapy ``` 安装完成后,您可以开始编写您的第一个Scrapy爬虫。在这个例子中,我们将使用Scrapy爬取网站https://quotes.toscrape.com/,并提取每个名人名言中的文本和作者。 1. 创建项目 在命令行中,创建一个新的Scrapy项目: ``` scrapy startproject quotes_spider ``` 这将创建一个名为“quotes_spider”的新目录,并在其中生成一些默认文件。 2. 定义爬虫 接下来,我们需要定义一个Scrapy爬虫。在项目目录下的“spiders”文件夹中,创建一个新的Python文件,名为“quotes_spider.py”。在该文件中,定义一个名为“QuotesSpider”的类,继承自“scrapy.Spider”类。 ```python import scrapy class QuotesSpider(scrapy.Spider): name = "quotes" start_urls = [ 'http://quotes.toscrape.com/page/1/', ] def parse(self, response): for quote in response.css('div.quote'): yield { 'text': quote.css('span.text::text').get(), 'author': quote.css('span small::text').get(), } next_page = response.css('li.next a::attr(href)').get() if next_page is not None: yield response.follow(next_page, self.parse) ``` 在上述代码中,我们首先定义了“QuotesSpider”类的名称和起始URL。在“parse”方法中,我们使用“response.css”方法来选择页面中所有名言的HTML元素,并使用“yield”语句返回文本和作者。 然后,我们在“next_page”变量中选择下一页的URL,如果有下一页,我们将使用“response.follow”方法继续爬取该页。这将递归地调用“parse”方法,直到没有更多的页面可供爬取。 3. 运行爬虫 现在,我们已经定义了一个Scrapy爬虫,我们可以在命令行中使用以下命令来运行它: ``` scrapy crawl quotes ``` 这将启动名为“quotes”的爬虫,并开始爬取https://quotes.toscrape.com/网站。当爬虫完成时,它将输出爬取的数据。 这是一个简单的Scrapy实例,演示了如何定义一个爬虫使用Scrapy框架中的其他功能。Scrapy提供了许多其他功能,例如数据存储、中间件、管道等。使用这些功能,您可以轻松地扩展您的爬虫并实现更高级的功能。 ### 回答2: Scrapy是一个优秀的Python爬虫框架,可以帮助开发者轻松地开发出高效、稳定的爬虫程序。在这里,我们将介绍一个使用Scrapy框架爬虫实例。 这个爬虫程序的目标是从豆瓣电影网站上爬取电影的信息。我们的目标是抓取电影的名称、评分、主演、评论等信息,并输出到一个CSV文件中。 首先,在Scrapy框架中,我们需要先创建一个新的项目。使用命令行工具进入要存放项目的目录下,输入以下命令: scrapy startproject douban_movie 这个命令会创建一个名为“douban_movie”的Scrapy项目。 接下来,在项目的根目录下创建一个新的spider,使用以下命令: scrapy genspider movie_spider "movie.douban.com" 这个命令会在项目的spiders目录中创建一个名为“movie_spider”的爬虫。我们将使用这个爬虫来抓取豆瓣电影网站上的信息。 在开始编写代码之前,需要先在settings.py中设置一些参数,例如我们需要启用cookies和user-agent抓取,可以将这些设置写到settings.py文件中。例如: USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:60.0) Gecko/20100101 Firefox/60.0' COOKIES_ENABLED = True DOWNLOAD_DELAY = 3 接下来,根据需求编写爬虫代码。我们的爬虫将通过requests发出请求,然后使用beautifulsoup解析网页,最后使用item处理数据。具体代码如下: import scrapy from scrapy.http import Request from bs4 import BeautifulSoup from douban_movie.items import DoubanMovieItem class DoubanMovieSpider(scrapy.Spider): name = 'douban_movie' start_urls = ['https://movie.douban.com/top250'] def parse(self, response): soup = BeautifulSoup(response.text, 'html.parser') movie_list = soup.find_all('div', {'class': 'item'}) for movie in movie_list: item = DoubanMovieItem() item['name'] = movie.find('span', {'class': 'title'}).text item['score'] = movie.find('span', {'class': 'rating_num'}).text item['actors'] = movie.find('p', {'class': ''}).text item['comments'] = movie.find('span', {'class': 'inq'}).text yield item next_page = soup.find('span', {'class': 'next'}).find('a') if next_page: next_page_url = 'https://movie.douban.com/top250' + next_page['href'] yield Request(next_page_url, callback=self.parse) 最后,将数据输出到一个CSV文件中。我们可以在settings.py中添加以下内容: FEED_FORMAT = 'csv' FEED_URI = 'douban_movie.csv' 这样我们就成功地完成了一个爬虫程序的开发。运行这个爬虫Scrapy会自动爬取豆瓣电影网站上的电影信息,并将结果输出到douban_movie.csv文件中。 ### 回答3: scrapy是一个为了爬取网站数据而设计的Python爬虫框架。它可以帮助我们自动化地爬取网页数据,并把数据转化为结构化的格式。下面,我将为大家介绍一个Python爬虫框架scrapy实例。 首先,我们需要安装scrapy框架。可以通过pip install scrapy命令进行安装。安装完成后,我们就可以开始构建我们的爬虫程序了。在scrapy中,我们通过编写spider来实现爬取网站数据的功能。它是整个爬虫程序的核心部分。 在编写spider之前,我们需要对目标网站进行分析,确定我们要抓取的数据位置、获取方式等信息。在本例中,我们选择抓取一个电商网站的商品信息,并保存下来。我们选择的电商网站为京东商城。我们需要确定我们要获取的信息:商品名称、价格、销售数量、评论数、好评率等信息。确定了目标信息后,我们需要查看京东商城的网页源代码,分析出相应的数据位置,以便我们编写spider。 编写spider的过程中,我们需要指定启动的URL地址、爬取页面的解析方法和数据保存方式等。在本例中,我们使用scrapy自带的Spider模板来快速搭建spider框架: ``` import scrapy class JdSpider(scrapy.Spider): name = "jd" allowed_domains = ["jd.com"] start_urls = ["https://www.jd.com/"] def parse(self, response): pass ``` 在这段代码中,我们定义了一个名为JdSpider的spider类,并设置了其启动的URL地址和解析方法。在解析方法中,我们使用scrapy自带的Selector模块来选择我们想要抓取的数据。我们需要使用XPath或CSS Selector来进行选择。 下面是我们完成的爬虫程序,实现了从京东商城抓取出相应的商品信息,并保存为CSV格式。 ``` import scrapy import csv class JdSpider(scrapy.Spider): name = "jd" allowed_domains = ["jd.com"] start_urls = ["https://www.jd.com/"] def parse(self, response): for url in response.css('a::attr(href)').extract(): if 'item.jd.com' in url: yield scrapy.Request(url, callback=self.parse_item) def parse_item(self, response): name = response.css('div.sku-name::text').extract_first().strip() price = response.css('span.price::text').extract_first().strip() sale_cnt = response.css('a::text').extract()[1].strip().replace('笔', '') comment_cnt = response.css('a::text').extract()[3].strip().replace('条', '') comment_ratio = response.css('strong.percent::text').extract_first().strip() with open('items.csv', 'a', newline='', encoding='utf-8') as csvfile: writer = csv.writer(csvfile) writer.writerow([name, price, sale_cnt, comment_cnt, comment_ratio]) ``` 在这段代码中,我们使用scrapy的Request模块来请求指定URL,并通过parse_item方法解析我们想要抓取的数据。我们将数据保存在名为“items.csv”的文件中,使用csv模块完成转换。对于抓取的数据,我们可以使用pandas等数据分析工具进行数据处理与分析。 总之,scrapy是一款十分优秀的Python爬虫框架,能够大大简化我们的数据爬取工作。希望我的回答能够帮助大家对Python爬虫有更深入的了解。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值