scrapy爬虫_Scrapy 爬虫完整案例-进阶篇

最新推荐文章于 2024-06-23 16:01:36 发布
最新推荐文章于 2024-06-23 16:01:36 发布
阅读量863 收藏 2
点赞数
文章标签： scrapy爬虫 scrapy爬虫案例

Scrapy 爬虫完整案例-进阶篇

1.1 进阶篇案例一

案例：爬取豆瓣电影 top250( movie.douban.com/top250 )的电影数据，并保存在 MongoDB 中。

dd46bdc0cdf62ed47d636456f38ac700.png

案例步骤：

第一步：明确爬虫需要爬取的内容。

我们做爬虫的时候，需要明确需要爬取的内容，豆瓣电影 TOP 250，我们需要抓取每一部电影的名字，电影的描述信息(包括导演、主演、电影类型等等)，电影的评分，以及电影中最经典或者脍炙人口的一句话。

例如：肖申克的救赎

bd78ccdab8509d1d1a8f87d27d748dad.png

电影的名字：肖申克的救赎。

电影信息(导演：弗兰克·德拉邦特；主演：蒂姆·罗宾斯 / 摩根·弗里曼 / 鲍勃·冈顿 / 威廉姆·赛德勒 / 克兰西·布朗 / 更多...；电影类型：剧情 / 犯罪。)

豆瓣电影评分：9.6。

脍炙人口的一句话：希望让人自由。

第二步：创建爬虫项目。

在 dos下切换到目录

D:scrapy_project

6a6fc503be9fd351533e22e99fff8665.png

新建一个新的爬虫项目：scrapy startproject douban

295ef0f43233914ffb55f5aec5f4a3f1.png
8c2987ce4c650efc73b125148f2219ca.png

第三步:创建爬虫。

在 dos下切换到目录。

D:scrapy_projectdoubandoubanspiders

用命令 scrapy genspider doubanmovie "movie.douban.com" 创建爬虫。

e36584f7fd8b822fab83c84acdecce06.png

第四步: 开始前的准备工作。

(一)、在 scrapy.cfg 同级目录下创建 pycharm 调试脚本 run.py，内容如下：

# -*- coding: utf-8 -*-

from scrapy import cmdline

cmdline.execute("scrapy crawl doubanmovie".split())

370a95de3e6df3c3c5c7e9eafe5a5726.png
89c66108e20153ff80a67c2abe71aadf.png
1a24367b05cac19c9adcfc08026d14d1.png

(二)、修改 settings 中的 ROBOTSTXT_OBEY = True 参数为 False,因为默认为 True，就是要遵守 robots.txt 的规则， robots.txt 是遵循 Robot协议 的一个文件，它保存在网站的服务器中，它的作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页不希望你进行爬取收录。在 Scrapy 启动后，会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。查看 robots.txt 可以直接网址后接 robots.txt 即可。

例如百度：https://www.baidu.com/robots.txt

修改 settings 文件。

2514bfa18cfbfddaa7e1aaa30995602b.png

(三)、settings.py 里添加 USER_AGENT。

abf447543b7f40d846cd25ef45be3c5d.png

(四)不需要模拟登陆，settings.py 里的 COOKIES_ENABLED ( Cookies中间件) 设置禁用状态。

COOKIES_ENABLED = False

4d27f23e0e980c4de2ba0211c26d1cca.png

第五步: 定义 Item，编写 items.py 文件。

import scrapy

class DoubanItem(scrapy.Item):

# 电影标题

title = scrapy.Field()

# 电影信息

bd = scrapy.Field()

# 豆瓣评分

star = scrapy.Field()

# 脍炙人口的一句话

quote = scrapy.Field()

第六步: 查看HTML源码，使用XPath helper爬虫插件一起查看需要爬取的字段的 xpath 路径。

# 电影标题

item['title'] = each.xpath(".//span[@class='title'][1]/text()").extract()[0]

93995e47fac65030da9e8f1c0e125298.png

# 电影信息

item['bd'] = each.xpath(".//div[@class='bd']/p/text()").extract()[0]

9b5f074c43a1046226b64b72fb229678.png

# 豆瓣评分

item['star'] = each.xpath(".//div[@class='star']/span[@class='rating_num']/text()").extract()[0]

dbf10e207f1f1f50ab0f0be0772a3f7c.png

# 脍炙人口的一句话

quote = each.xpath(".//p[@class='quote']/span/text()").extract()

7c74051c262ac3ec9781c1f7a82efee6.png

备注：extract()返回的是一个列表，列表里的每个元素是一个对象，extract()把这些对象转换成 Unicode 字符串。

第七步: 分析网站分页的 URL 规律。

1de2b1aeb13fd38a591c2b9cbc294f9a.png

第一页的链接地址：

https://movie.douban.com/top250?start=0

第二页的链接地址：

https://movie.douban.com/top250?start=25

最十页的链接地址:

https://movie.douban.com/top250?start=225

通过分析我们得知，每一页的的链接地址 start 的值递增 25，就是下一页的地址。

第八步: 编写爬虫文件。

import scrapy,sys,os

path = os.path.dirname(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))

sys.path.append(path)

from douban.items import DoubanItem

class DoubamovieSpider(scrapy.Spider):

name = "doubanmovie"

allowed_domains = ["movie.douban.com"]

offset = 0

url = "https://movie.douban.com/top250?start="

start_urls = (

url + str(offset),

)

def parse(self, response):

item = DoubanItem()

movies = response.xpath("//div[@class='info']")

for each in movies:

# 电影标题

item['title'] = each.xpath(".//span[@class='title'][1]/text()").extract()[0]

# 电影信息

item['bd'] = each.xpath(".//div[@class='bd']/p/text()").extract()[0]

# 豆瓣评分

item['star'] = each.xpath(".//div[@class='star']/span[@class='rating_num']/text()").extract()[0]

# 脍炙人口的一句话

quote = each.xpath(".//p[@class='quote']/span/text()").extract()

if len(quote) != 0:

item['quote'] = quote[0]

yield item

if self.offset < 225:

self.offset += 25

yield scrapy.Request(self.url + str(self.offset), callback = self.parse)

第九步:在settings.py文件里设置管道文件。

ITEM_PIPELINES = {

'douban.pipelines.DoubanPipeline': 300,

}

fae9a866740fb25805dab5a5cf8884ff.png

第十步:创建 MongoDB 数据库"Douban"和存放爬虫数据的表"doubanmovies"。

在MongoDB中创建一个叫"Douban"的库。

ea637d478df4011ff458dfcece4c6d88.png

MongoDB 创建数据库的语法格式如下：

use DATABASE_NAME

如果数据库不存在，则创建数据库，否则切换到指定数据库。

59b583c818ff503087f056ba918625ee.png

备注：刚创建的数据库 Douban并不在数据库的列表中， 要显示它，我们需要向 Douban 数据库插入一些数据或者创建表。

创建表：db.createCollection("doubanmovies")

语法格式：

db.createCollection(name, options)

68385e5ade83a1d7862c0a4453e1c070.png

创建表完成，再去查 MongoDB 中的库就显示了 Douban 库。

5346328aafa3e79fed95ce25a06dc3c7.png

查看表：show collections

292ad7469e16c8b3f31ec6c6fbc522a6.png

第十一步:在settings.py文件里配置 MongoDB 连接配置项。

# MONGODB 主机名

MONGODB_HOST = "127.0.0.1"

# MONGODB 端口号

MONGODB_PORT = 27017

# 数据库名称

MONGODB_DBNAME = "Douban"

# 存放数据的表名称

MONGODB_SHEETNAME = "doubanmovies"

5ab3a110c12bd3b7c377a498472ca520.png

第十二步: 编写 pipelines 管道文件(把数据存储到 MongoDB)。

import pymongo

from scrapy.conf import settings

class DoubanPipeline(object):

def __init__(self):

host = settings["MONGODB_HOST"]

port = settings["MONGODB_PORT"]

dbname = settings["MONGODB_DBNAME"]

sheetname= settings["MONGODB_SHEETNAME"]

# 创建MONGODB数据库链接

client = pymongo.MongoClient(host = host, port = port)

# 指定数据库

mydb = client[dbname]

# 存放数据的数据库表名

self.sheet = mydb[sheetname]

def process_item(self, item, spider):

data = dict(item)

self.sheet.insert(data)

return item

第十三步: 执行run.py文件，运行爬虫。

62c5a4e7f9347a949608ba54d9cfd888.png
7df5f247225b68856a08913aa90b97ab.png

第十四步: 查看 MongoDB 数据库。

157da78592c597e01b3128a3e6be6573.png

显示的只是一部分数据(Type "it" for more)，如果想看完整的数据，可以通过 MongoDB 数据库自带的图形化客户端工具(MongoDB Compass Community)查看。

210cd009f704d90fb8eed84035dd78b1.png

1.2 进阶篇案例二

案例：使用下载中间件(Downloader Middlewares)改写爬取豆瓣电影top250案例

案例步骤：

第一步：创建爬虫项目。

在 dos下切换到目录

D:scrapy_project

4b6c3d77a501e58ff273e8b5caf68ed6.png

新建一个新的爬虫项目：scrapy startproject douban2

18dfbd3b8fc7422a7dd499c0ac7a0340.png
c7dd7578efcdb3cde28d7b63e642df7e.png

第二步:创建爬虫。

在 dos下切换到目录。

D:scrapy_projectdouban2douban2spiders

用命令 scrapy genspider doubanmovie2 "movie.douban.com" 创建爬虫。

f02821e4ad4fff30190c5c97ca1028e5.png

第三步: 开始前的准备工作。

(一)、在 scrapy.cfg 同级目录下创建 pycharm 调试脚本 run.py，内容如下：

# -*- coding: utf-8 -*-

from scrapy import cmdline

cmdline.execute("scrapy crawl doubanmovie".split())

931ad2d431431f27f8f7846ba2645439.png
0dbf9fd039ddd7a9a2b4b1ffbf4509a4.png
96f893ee08b8f9533d77088a67ced2fa.png

(二)、修改 settings 中的 ROBOTSTXT_OBEY = True 参数为 False,因为默认为 True，就是要遵守 robots.txt 的规则， robots.txt 是遵循 Robot协议 的一个文件，它保存在网站的服务器中，它的作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页不希望你进行爬取收录。在 Scrapy 启动后，会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。查看 robots.txt 可以直接网址后接 robots.txt 即可。

例如百度：https://www.baidu.com/robots.txt

修改 settings 文件。

7fbab09b6c9ae8b82efeba755cbdaa71.png

(三)不需要模拟登陆，settings.py 里的 COOKIES_ENABLED ( Cookies中间件) 设置禁用状态。

COOKIES_ENABLED = False

811bfce759da954cf787e0c6f4199b73.png

备注：截图使用的是案例一，步骤参考案例一。

第四步: 定义 Item，编写 items.py 文件。

import scrapy

class DoubanItem(scrapy.Item):

# 电影标题

title = scrapy.Field()

# 电影信息

bd = scrapy.Field()

# 豆瓣评分

star = scrapy.Field()

# 脍炙人口的一句话

quote = scrapy.Field()

第五步: 编写爬虫文件。

import scrapy,sys,os

path = os.path.dirname(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))

sys.path.append(path)

from douban.items import DoubanItem

class DoubamovieSpider(scrapy.Spider):

name = "doubanmovie"

allowed_domains = ["movie.douban.com"]

offset = 0

url = "https://movie.douban.com/top250?start="

start_urls = (

url + str(offset),

)

def parse(self, response):

item = DoubanItem()

movies = response.xpath("//div[@class='info']")

for each in movies:

# 电影标题

item['title'] = each.xpath(".//span[@class='title'][1]/text()").extract()[0]

# 电影信息

item['bd'] = each.xpath(".//div[@class='bd']/p/text()").extract()[0]

# 豆瓣评分

item['star'] = each.xpath(".//div[@class='star']/span[@class='rating_num']/text()").extract()[0]

# 脍炙人口的一句话

quote = each.xpath(".//p[@class='quote']/span/text()").extract()

if len(quote) != 0:

item['quote'] = quote[0]

yield item

if self.offset < 225:

self.offset += 25

yield scrapy.Request(self.url + str(self.offset), callback = self.parse)

第六步:在settings.py文件里设置管道文件。

ITEM_PIPELINES = {

'douban.pipelines.DoubanPipeline': 300,

}

8f83df969eb7bb9c875ac7a709e9ce50.png

第七步:创建 MongoDB 数据库"Douban"和存放爬虫数据的表"doubanmovies"。

在MongoDB中创建一个叫"Douban"的库。

a5c78bf03fd63174d7350b854c428375.png

MongoDB 创建数据库的语法格式如下：

use DATABASE_NAME

如果数据库不存在，则创建数据库，否则切换到指定数据库。

d236e5740570ef7054df03b00cda28de.png

备注：刚创建的数据库 Douban 并不在数据库的列表中， 要显示它，我们需要向 Douban 数据库插入一些数据或者创建表。

创建表：db.createCollection("doubanmovies")

语法格式：

db.createCollection(name, options)

4f0f76c4afee9b1e54d64073dcfd9005.png

创建表完成，再去查 MongoDB 中的库就显示了 Douban 库。

c17b393785266c50bd3b2bb2419d512e.png

查看表：show collections

2a7d8d480449151bc88505d5da4b1584.png

第八步:在settings.py文件里配置 MongoDB 连接配置项。

# MONGODB 主机名

MONGODB_HOST = "127.0.0.1"

# MONGODB 端口号

MONGODB_PORT = 27017

# 数据库名称

MONGODB_DBNAME = "Douban"

# 存放数据的表名称

MONGODB_SHEETNAME = "doubanmovies"

86d8abb662f6ac5f9b8cdeeefd04b14e.png

第九步: 编写 pipelines 管道文件(把数据存储到 MongoDB)。

import pymongo

from scrapy.conf import settings

class DoubanPipeline(object):

def __init__(self):

host = settings["MONGODB_HOST"]

port = settings["MONGODB_PORT"]

dbname = settings["MONGODB_DBNAME"]

sheetname= settings["MONGODB_SHEETNAME"]

# 创建MONGODB数据库链接

client = pymongo.MongoClient(host = host, port = port)

# 指定数据库

mydb = client[dbname]

# 存放数据的数据库表名

self.sheet = mydb[sheetname]

def process_item(self, item, spider):

data = dict(item)

self.sheet.insert(data)

return item

第十步: 在settings.py文件里添加下载中间件(Downloader Middlewares)字段。

DOWNLOADER_MIDDLEWARES = {

'douban.middlewares.RandomUserAgent': 100,

'douban.middlewares.RandomProxy': 200,

}

USER_AGENTS = [

'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)',

'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2)',

'Opera/9.27 (Windows NT 5.2; U; zh-cn)',

'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',

'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',

'Mozilla/5.0 (Linux; U; Android 4.0.3; zh-cn; M032 Build/IML74K) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30',

'Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27 Safari/525.13'

]

PROXIES = [

{"ip_port" :"121.42.140.113:16816

weixin_39989939
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
孤寒者的博客
08-09 60万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
专业爬虫框架 _scrapy进阶使用详解
weixin_54104072的博客
12-04 2221
在Scrapy中，中间件是一种插件机制它允许你在发送请求和处理响应的过程中对Scrapy引擎的行为进行干预和定制。Scrapy中间件的用途：修改请求、处理响应、处理异常、设置代理、添加自定义的HTTP头部等等。Scrapy中间件主要分为以下几种类型：下载中间件（Download Middleware）：下载中间件是用于处理Scrapy发送请求和接收响应的过程。它可以用于修改请求的头部、处理代理、处理重定向、处理异常、修改请求URL等。你可以通过编写下载中间件来实现自定义的下载逻辑。
scrapy爬虫实例代码
05-06
此部分代码是使用scrapy框架进行爬虫的实例，按照以下文章分享的内容进行整理的https://cuiqingcai.com/3472.html，欢迎有兴趣的同学进行下载学习。
Scrapy爬虫及案例剖析
YANGTAO_0的博客
12-05 1408
由于互联网的极速发展，所有现在的信息处于大量堆积的状态，我们既要向外界获取大量数据，又要在大量数据中过滤无用的数据。针对我们有益的数据需要我们进行指定抓取，从而出现了现在的爬虫技术，通过爬虫技术我们可以快速获取我们需要的数据。但是在这爬虫过程中，信息拥有方会对爬虫进行反爬处理，我们就需要对这些困难进行逐个击破。 刚好前段时间做了爬虫相关的工作，这里就记录下一些相关的心得。 本文案例代码地...
Scrapy爬虫基础讲解及案例
stitches_fly的博客
05-10 1975
item数据对象：本质是一个字典。response.xpath方法的返回结果是一个类似list的类型，其中包含的是selector对象，操作和列表一样，但是有一些额外的方法。允许爬的域名：为对于爬虫设置的爬取范围，设置之后用于过滤要爬取的url地址，如果爬取的url地址与允许的域名不同，则被过滤掉。下载器发送请求，获取response响应---->下载中间件---->引擎--->爬虫中间件--->爬虫。爬虫提取url地址，组装成request对象---->爬虫中间件--->引擎--->调度器，重复步骤2。
Scrapy爬虫框架，入门案例（非常详细）
热门推荐
ck784101777的博客
03-21 18万+
Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试. 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫. Scrapy吸引人的地...
python scrapy 爬虫实例_scrapy爬虫完整实例
weixin_39600331的博客
12-08 2219
本文主要通过实例介绍了scrapy框架的使用，分享了两个例子，爬豆瓣文本例程 douban 和图片例程 douban_imgs ，具体如下。例程1： douban目录树douban--douban--spiders--__init__.py--bookspider.py--douban_comment_spider.py--doumailspider.py--__init__.py--items....
Scrapy 爬虫完整案例-进阶篇
GangsterChen & Codes
07-15 1481
转自听海8
爬虫---scrapy爬虫框架（详细+实战）
lihaian的博客
08-01 3万+
Scrapy是一个适用爬取网站数据、提取结构性数据的应用程序框架，它可以应用在广泛领域Scrapy常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过Scrapy框架实现一个爬虫，抓取指定网站的内容或图片。...
Scrapy-Redis分布式爬虫
wujddjdjndn的博客
06-23 1560
当我们了解了Scrapy爬虫框架的用法过后，这些框架都是在同一台主机上运行的，爬取效率比较有限。如果能够用多台主机协同爬取，那么爬取效率必然会成倍增长，这就是分布式爬虫的优势。这里我们就来了解一下分布式爬虫的基本原理，以及 Scrapy 实现分布式爬虫的流程。
python爬虫教程--Scrapy爬虫之旅
小马哥的博客
03-14 1442
Python，Scrapy，爬虫，爬虫框架
精通Scrapy网络爬虫_爬虫_scrapy_
10-04
Scrapy是一个强大的Python爬虫框架，它为开发者提供了一套高效、灵活的工具，用于处理网页数据抓取和数据处理任务。本章将深入探讨Scrapy的核心组件、工作原理以及如何利用它来构建复杂的网络爬虫项目。 Scrapy的...
scrapy爬虫完整案例.zip
06-28
该案例相对完整，欢饮下载交流。有疑问，可以留言，一起交流探讨并发掘爬虫世界的美！该案例结构清晰，注释明了，可以使大家很好地理解scrapy爬虫框架。
zhihu_scrapy_爬虫excel_知乎爬虫_scrapy扫码登录_
10-01
【标题】"zhihu_scrapy_爬虫excel_知乎爬虫_scrapy扫码登录_" 描述了一种使用Python的Scrapy框架开发的知乎爬虫项目，该爬虫能够实现通过手机扫码的方式模拟登录知乎，然后抓取用户指定的知乎页面上的内容，如回答和...
精通Scrapy网络爬虫_python_scrapy_
09-29
Scrapy是一个强大的Python爬虫框架，专为高效的数据抓取和复杂的网页解析设计。它提供了丰富的功能，使得开发者能够快速构建自己的网络爬虫项目。在深入理解Scrapy之前，我们首先需要了解Python的基础知识，因为它是...
scrapy_爬虫python_tailua9_python_百度图片爬虫_scrapy_
10-02
关于`scrapyd`，这是一个Scrapy的分布式部署工具，它允许你远程启动、管理和监控Scrapy爬虫。通过`scrapyd-api`库，你可以通过HTTP API与Scrapyd通信，例如调度爬虫任务、获取日志和结果。 在`tailua9`这个标签可能...
scrapy爬虫进阶案例--爬取前程无忧招聘信息
无_忧的博客
08-05 1592
上一次我们进行了scrapy的入门案例讲解，相信大家对此也有了一定的了解，详见新手入门的Scrapy爬虫操作–超详细案例带你入门。接下来我们再来一个案例来对scrapy操作进行巩固。 一、爬取的网站 这里我选择的是杭州数据分析的岗位，网址如下：https://search.51job.com/list/080200,000000,0000,32,9,99,%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590,2,1.html?lang=c&
方案-基于云架构的校园信息化建设方案.pdf
最新发布
07-29
方案-基于云架构的校园信息化建设方案.pdf
【创新未发表】Matlab实现蛇群优化算法SO-Kmean-Transformer-LSTM负荷预测算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值