[Python Scrapy爬虫] 二.翻页爬取农产品信息并保存本地

最新推荐文章于 2024-06-14 09:46:37 发布
最新推荐文章于 2024-06-14 09:46:37 发布
阅读量1.1w 收藏 91
点赞数 18
分类专栏： Python爬虫 Python网络爬虫 Python学习系列 文章标签： Python爬虫 Scrapy 翻页功能 存储Json XPath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Eastmount/article/details/79307675
版权

前面 "Python爬虫之Selenium+Phantomjs+CasperJS" 介绍了很多Selenium基于自动测试的Python爬虫程序，主要利用它的xpath语句，通过分析网页DOM树结构进行爬取内容，同时可以结合Phantomjs模拟浏览器进行鼠标或键盘操作。但是，更为广泛使用的Python爬虫框架是——Scrapy爬虫。这篇文章是一篇基础文章，主要内容包括：

    1.Scrapy爬取贵州农产品的详细步骤；
    2.Scrapy如何将数据存储至Json或CSV文件中；
    3.Scrapy实现三种翻页方法爬取农产品数据。

下面提供前面的一些相关文章：

    官方 Scrapy  ： http://scrapy.org/
    官方英文文档： http://doc.scrapy.org/en/latest/index.html
    官方中文文档： https://scrapy-chs.readthedocs.org/zh_CN/0.24/index.html

    入门安装知识： [Python爬虫] scrapy爬虫系列 <一>.安装及入门介绍
  BeautifulSoup：[python爬虫] BeautifulSoup爬取+CSV存储贵州农产品数据


在做数据分析时，通常会遇到预测商品价格的情况，而在预测价格之前需要爬取海量的商品价格信息，比如淘宝、京东商品等，这里作者采用Scrapy技术爬取贵州农产品数据集。

输入 "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=1" 网址，打开贵州农经网，可以查看贵州各个地区农产品每天价格的波动情况，如下图所示，主要包括五个字段：品种名称、价格、计量单位、所在市场、上传时间。


Scrapy框架自定义爬虫主要步骤如下：

  • 在CMD命令行模型下创建爬虫工程，即创建GZProject工程爬取贵州农经网。
  • 在items.py文件中定义我们要抓取的数据栏目，对应商品名称、价格、计量单位等五个字段。
  • 通过浏览器审查元素功能分析所需爬取内容的DOM结构并定位HTML节点。
  • 创建Spiders爬虫文件，定位并爬取所需内容。
  • 分析网页翻页方法，并发送多页面跳转爬取请求，不断执行Spiders爬虫直到结束。
  • 设置pipelines.py文件，将爬取的数据集存储至本地Json文件或CSV文件中。
  • 设置settings.py文件，设置爬虫的执行优先级。

下面是完整的实现过程，重点知识是如何实现翻页爬取及多页面爬取，希望对您有帮助。

一. 创建工程

在Windows环境下，我们调用“Ctrl+R”快捷键打开运行对话框，然后输出“cmd”命令打开命令行模式，然后调用“cd”命令去到某个目录下，再调用“scrapy startproject GZProject”命令创建爬取贵州农经网产品信息的爬虫工程。

创建Scrapy爬虫

scrapy startproject GZProject

在本地C盘根目录创建的GZProject工程目录如下图所示，包括常见的文件，如items.py、middlewares.py、pipelines.py、settings.py以及文件夹spiders等。




二. 设置items文件

接在我们需要在items.py文件中定义需要爬取的字段，这里主要是五个字段，调用scrapy.item子类的 Field()函数创建字段，代码如下所示。



items.py文件的代码如下：

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class GzprojectItem(scrapy.Item):
    num1 = scrapy.Field()           #品种名称
    num2 = scrapy.Field()           #价格
    num3 = scrapy.Field()           #计量单位
    num4 = scrapy.Field()           #所在市场
    num5 = scrapy.Field()           #上传时间

接下来就是核心内容，通过分析网页DOM结构并编写对应Spiders爬虫代码。




三. 浏览器审查元素

打开任意浏览器，然后调用“审查元素”或“检查”功能（该功能在不同浏览器中称呼不同，但功能都是相似的）查看所需爬取内容的HTML源代码，比如Chrome浏览器定位方法如图13.21所示。选中需要爬取元素，然后右键鼠标，点击“检查”按钮，可以看到元素对应的HTML源代码，比如图中的右边部分。



通过审查元素功能，我们可以发现每行数据都位于<tr>节点下，其class属性为“odd gradeX”，如图13.22所示，接着调用scrapy框架的xpath、css等功能进行爬取。




四. 创建Spiders爬虫并执行

然后在spiders文件夹下创建一个Python文件，主要用于实现Spider爬虫代码，创建GZSpider.py文件，工程目录如下图所示。




增加代码如下所示，在GZSpider类中定义了爬虫名（name）为“gznw”，同时代码中allowed_domains表示所爬取网址的跟地址，start_urls表示开始爬取的网页地址，然后调用parse()函数进行爬取，这里首先爬取该网友的标题，通过response.xpath('//title')函数实现。代码如图所示：



GZSpider.py

# -*- coding: utf-8 -*-
import scrapy

class GZSpider(scrapy.Spider):
    name = "gznw"                #贵州农产品爬虫
    allowed_domains = ["gznw.gov.cn"]
    start_urls = [
     "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=1"
    ]

    def parse(self, response):
        for t in response.xpath('//title'):
            title = t.extract()
            print title
        for t in response.xpath('//title/text()'):
            title = t.extract()
            print title

接下来进入C盘工程目录，执行下列命令启动Spider爬虫。

cd GZProject
scrapy crawl gznw

"scrapy crawl gznw"启动Spider爬虫，爬取贵州农经网商品，运行如图所示。程序开始运行，自动使用start_urls构造Request并发送请求，然后调用parse()函数对其进行解析，在这个解析过程中可能会通过链接再次生成Request，如此不断循环，直到返回的文本中再也没有匹配的链接，或调度器中的Request对象用尽，程序才停止。



输出结果如下所示，包括爬取的标题HTML源码“<title>贵州农经网</title>”和标题内容“贵州农经网”，如图所示。


接下来我们需要爬取商品信息，调用response.xpath('//tr[@class="odd gradeX"]')方法定位到class属性为“odd gradeX”的tr节点，并分别获取五个td节点，对应五个字段内容。完整代码如下所示：

GZSpider.py

# -*- coding: utf-8 -*-
import scrapy
from scrapy import Request
from scrapy.selector import Selector  
from GZProject.items import *  

class GZSpider(scrapy.Spider):
    name = "gznw"                #贵州农产品爬虫
    allowed_domains = ["gznw.gov.cn"]
    start_urls = [
       "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=1"
    ]

    def parse(self, response): 
        print '----------------Start------------------'
        print response.url

        for sel in response.xpath('//tr[@class="odd gradeX"]'):
            item = GzprojectItem()
            num1 = sel.xpath('td[1]/text()').extract()[0]
            num2 = sel.xpath('td[2]/text()').extract()[0]
            num3 = sel.xpath('td[3]/text()').extract()[0]
            num4 = sel.xpath('td[4]/text()').extract()[0]
            num5 = sel.xpath('td[5]/text()').extract()[0]
            print num1,num2,num3,num4,num5
            item['num1'] = num1
            item['num2'] = num2
            item['num3'] = num3
            item['num4'] = num4
            item['num5'] = num5
            yield item
        print '\n'

输出内容如下所示，同时调用“item = GzprojectItem()”代码声明了栏目item，再调用“item['num1'] = num1”代码将爬取的数据存储至栏目中。

----------------Start------------------
http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=1
猕猴桃 26 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
山楂 40 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
柿子 12 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
板栗 36 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
开心果 80 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
草莓 50 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
核桃 36 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
菜籽油 20 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
龙眼 20 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
车厘子 100 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28

对应输出内容如图所示。



讲到这里，我们已经将贵州农经网第一页的商品信息爬取了，那其他页面的信息，不同日期的商品信息如何爬取呢？Scrapy又怎么实现跳转翻页爬虫呢？




五. 实现翻页功能及多页面爬取

接下来我们讲解Scrapy爬虫的三种翻页方法供大家学习。当然还有更多方法，比如利用Rule类定义网页超链接的规则进行爬取，请读者下来研究，这里主要提供三种简单的翻页思想。

贵州农经网的超链接可以通过URL字段“page=页码”实现翻页，比如第二页的超链接为“http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=2”，我们访问该超链接就可以获取第二页的商品信息，如下图所示，访问其他网页的原理一样。



方法一：定义URLs超链接列表单分别爬取

Scrapy框架是支持并行爬取的，其爬取速度非常快，如果读者想爬取多个网页，可以将网页URL依次列在start_urls中。

# -*- coding: utf-8 -*-
import scrapy
from scrapy import Request
from scrapy.selector import Selector  
from GZProject.items import *  

class GZSpider(scrapy.Spider):
    name = "gznw"                #贵州农产品爬虫
    allowed_domains = ["gznw.gov.cn"]
    start_urls = [
     "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=1",
     "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=2",
     "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=3"
    ]

    def parse(self, response): 
        print '----------------Start------------------'
        print response.url

        for sel in response.xpath('//tr[@class="odd gradeX"]'):
            item = GzprojectItem()
            num1 = sel.xpath('td[1]/text()').extract()[0]
            num2 = sel.xpath('td[2]/text()').extract()[0]
            num3 = sel.xpath('td[3]/text()').extract()[0]
            num4 = sel.xpath('td[4]/text()').extract()[0]
            num5 = sel.xpath('td[5]/text()').extract()[0]
            print num1,num2,num3,num4,num5

        print '\n'

输出如下图所示，可以看到采用Scrapy爬取了三页商品内容。

方法二：拼接不同网页URL并发送请求爬取

假设我们的URL很多，如果采用方法一显然是不可行的，那么怎么处理呢？这里我们提出了第二种方法，通过拼接不同网页的URL，循环发送请求进行爬取。拼接方法如下：

next_url="http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page="+str(i)

在parse()函数中定义一个while循环，通过“yield Request(next_url)”代码发送新的爬取请求，并循环调用parse()函数进行爬取。完整代码如下所示：

GZSpider.py

# -*- coding: utf-8 -*-
import scrapy
from scrapy import Request
from scrapy.selector import Selector  
from GZProject.items import *  

class GZSpider(scrapy.Spider):
    name = "gznw"                #贵州农产品爬虫
    allowed_domains = ["gznw.gov.cn"]
    start_urls = [
     "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=1"
    ]

    def parse(self, response): 
        print '----------------Start------------------'
        print response.url

        for sel in response.xpath('//tr[@class="odd gradeX"]'):
            item = GzprojectItem()
            num1 = sel.xpath('td[1]/text()').extract()[0]
            num2 = sel.xpath('td[2]/text()').extract()[0]
            num3 = sel.xpath('td[3]/text()').extract()[0]
            num4 = sel.xpath('td[4]/text()').extract()[0]
            num5 = sel.xpath('td[5]/text()').extract()[0]
            print num1,num2,num3,num4,num5
            item['num1'] = num1
            item['num2'] = num2
            item['num3'] = num3
            item['num4'] = num4
            item['num5'] = num5
            yield item
        print '\n'

        #循环换页爬取
        i = 2
        while i<=10:
            next_url = "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page="+str(i)
            i = i + 1
            yield Request(next_url)

输出部分结果如下所示：

----------------Start------------------
http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=8
豇豆 12 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
红薯 12 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
老南瓜 15 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
菠菜 12 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
平菇/冻菌 20 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
贡梨 26 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
油菜苔 23 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
韭菜 15 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
绿豆(干) 12 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
丝瓜 12 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25

----------------Start------------------
http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=10
黄瓜 15 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
花生油 40 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
鹌鹑蛋 20 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
血橙 15 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:24
羊肉 240 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:24
莲花白 6 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:24
小葱 12 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:24
绿豆 25 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:24
面粉(标准一级) 6 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:24
脐橙 15 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:24

----------------Start------------------
http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=6
羔蟹 50 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
草鱼 50 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
青蛇果 36 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
红蛇果 32 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
芒果 26 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
猪肉(肥瘦) 32 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
都匀毛尖 1,000 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
鲤鱼 60 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
鲢鱼 60 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
鳝鱼 60 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26

方法三：获取下一页超链接请求爬取内容

下面讲解另一种方法，获取下一页的超链接并发送请求进行爬取。通过审查元素，我们可以看到“下一页”对应的HTML源代码如下图所示。



这里我们通过代码获取class为“page-link next”的超链接（<a>），如果存在“下一页”超链接，则进行跳转爬取，如果“下一页”超链接为空，则停止爬取。核心代码如下：

next_url = response.xpath('//a[@class="page-link next"]/@href').extract()
if next_url is not None:
    next_url = 'http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx' + next_url[0]
    yield Request(next_url, callback=self.parse)

爬取的结果为"?areaid=22572&page=3"，再对获取的超链接进行拼接，得到的URL为"http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=3"，再调用Request()函数发送请求，爬取内容。但由于贵州农经网有4万多个页面，建议大家设置爬取网页的数量，代码如下：

i = 0
next_url = response.xpath('//a[@class="page=link next"]/@href').extract()
if next_(url is not None) and i<20:
    i = i + 1
    next_url = 'http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx' + next_url[0]
    yield Request(next_url, callback=self.parse)

接下来告诉大家如何将爬取的数据存储至本地。




六. 设置pipelines文件保存数据至本地

pipeLine文件是用来对Spider返回的Item列表进行保存操作，可以写入到文件或者数据库中。pipeLine只有一个需要实现的方法：process_item，比如将我们的Item保存到JSON格式文件中，完整代码如下：

pipelines.py

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
import codecs
import json

class GzprojectPipeline(object):

    def __init__(self):  
        self.file = codecs.open('guizhou.json', 'w', encoding='utf-8')
        
    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False) + "\n"  
        self.file.write(line)  
        return item  
        
    def spider_closed(self, spider):  
        self.file.close()

调用codecs.open('guizhou.json', 'w', encoding='utf-8')函数将数据存储至“guizhou.json”文件中，最后设置settings.py文件的优先级。




七. 设置settings文件

在该文件中设置如下代码，将贵州农经网爬虫的优先级设置为1，优先级范围从1到1000，越小优先级越高；“GZProject.pipelines.GzprojectPipeline”表示要设置的通道。

settings.py

ITEM_PIPELINES = {
    'GZProject.pipelines.GzprojectPipeline': 1
}

最后输入代码“scrapy crawl gznw”执行爬虫，输出部分结果如下所示。



同时，在本地创建的“guizhou.json”文件中保存数据如下所示，采用键值对形式显示。


如果读者想存储为CSV文件，则执行“scrapy crawl gznw -o gz.csv”，输出截图如下所示：


写到这里，一个完整的Scrapy爬取贵州农经网的农产品数据已经讲完了，后面我也将继续学习Rule类以及其不同页面的爬取，甚至包括存储至数据库中。更多的爬虫知识希望读者下来结合实际需求和项目进行深入学习，并爬取所需的数据集。

(By:Eastmount 2018-02-11 深夜4点 http://blog.csdn.net/eastmount/)

Eastmount
关注
  • 18
    点赞
  • 踩
  • 91
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
GUI基于Python语言爬虫程序（抓取农产品网站，抓取结果存入excel，并有折线图等简易数据分析功能）
03-19
利用Python语言抓取农产品网站（一亩田、新发地、惠农网等），定向自动下载所需数据为excel
Python爬虫实战（一）：翻页爬取数据存入SqlServer
热门推荐
努力让自己发光，对的人才能迎着光而来
11-15 5万+
python爬虫实战基础
scrapy中如何实现翻页抓取数据
ljf520lhy的博客
12-07 2082
scrapy中如何实现翻页抓取数据
使用Scrapy-Webdriver提升您的网络爬虫性能
最新发布
gitblog_00086的博客
06-14 281
使用Scrapy-Webdriver提升您的网络爬虫性能 项目地址:https://gitcode.com/brandicted/scrapy-webdriver 项目介绍 Scrapy-Webdriver 是一个创新的开源库，它将强大的Selenium WebDriver集成到Scrapy框架中，使您能够实现更复杂的网页抓取任务。这个项目虽然标注可能存在一些未处理的问题和风险，但在实际应用中已经...
scrapy爬虫框架实现翻页数据爬取-网页实战
fallwind_of_july的博客
07-26 1749
  本篇博文将介绍如何搭建爬虫项目实现简单地翻页爬取信息，并给出运行结果，把结果保存为本地json文件或者csv文件。详细的项目搭建操作已经在前面博文中提及了，可以参考： https://blog.csdn.net/fallwind_of_july/article/details/97246577   文章非常适合入门的小伙伴们一起学习和研究。经过实测验证，代码可以成功运行。文章最后给出githu...
在万维网爬虫中进行翻页爬取的三种常用方案
qq_55303268的博客
05-20 4113
首先先定义scrapy中的请求方法，然后创建列表对象，再遍历列表对象，用scrapy中的Request方法(形参url为实参url)对遍历后的临时变量发起请求，yield返回Response对象，所以start_requests方法的返回值是Response，主要代码如下。，在这个URL中，limit参数表示每个页面展示的书籍数量，而offset表示此资源目录里是从第几本书开始展示，所以第二页的URL是offset=10，而不是offset=2，那么也就不能简单粗暴的用上一个案例的方法进行请求了。
爬虫如何翻页 爬取豆瓣排名250电影
qq_39558530的博客
12-07 3298
1、爬虫翻页问题： 正在做爬虫练习：爬取豆瓣电影排名前250的电影，但一页只显示排名前25的电影，爬取排名250的电影数据需翻页，爬虫遇到了翻页的问题。 2、爬虫翻页解决思路： 在网上查到有几种翻页的解决方案： 爬虫翻页技巧的四种方法_风启新尘的博客-CSDN博客_爬虫翻页 爬虫中几种翻页方式_野生猕猴桃的博客-CSDN博客_爬虫翻页 3、爬虫翻页解决方案： 综合各种解决方案后，我选择了第一个链接里面的第一种最简单的解决方案： 在URL里找到循环规律，电影每页显示排名25部电影 ..
（一）Scrapy 基本使用
weixin_47177392的博客
04-15 1096
scrapy安装与基本使用
【scrapy】学习Scrapy入门
Jason Ding的专栏
01-25 2608
Scrapy介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加
Scrapy入门（二）
Kwong
05-04 462
爬取Sklearn文档中所有例子 所爬取文件的起始页https://scikit-learn.org/stable/auto_examples/ 创建项目 scrapy startproject sklearnExample 生成模板 cd sklearnExample scrapy genspider example scikit-learn.org 编写Items类 import scrapy...
Scrapy 实现爬虫（1）--爬取农产品数据集
努力变得不菜的菜鸡的博客
07-06 3175
此博客是借鉴的别人的 ，原文章地址：https://www.cnblogs.com/WayneLiu/p/Python.html
Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码
09-20
主要介绍了Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码,需要的朋友可以参考下
python爬虫框架scrapy实战之爬取京东商城进阶篇
09-21
在本例中，通过`scrapy.Request()`构造对京东商城的请求，并使用`meta`参数传递额外数据到回调函数。`callback`参数指定响应后的处理函数，这里是`parse_url()`。 **三、解析动态网页** 对于京东商城等动态加载的...
使用Scrapy爬取一个网站的数据
G_Q_L的博客
08-06 5205
Scrapy框架的初步运用
python爬虫之多线程扒光北京新发地菜价
qq_55977554的博客
12-17 1867
所实验网址： http://www.xinfadi.com.cn/priceDetail.html 首先对网页进行分析： 但是很显然，这些内容都不存在网页的源代码，所以这时候我们需要进行抓包 然后我们观察这个的url和请求方式，可以发现这是post类型，于是我们去找到他要传入的参数 我们通过点击下一页，具体看看哪些是需要传入的 我们会发现，current是我们需要具体传入的参数，而他就是代表页数，而这个limit是表示每页出现的数据量只能有20条。 我们分析完网页后，我们就可以开始编写程序了，那
爬虫scrapy的结构理解
deapou的博客
03-22 926
爬虫scrapy框架-结构自我理解 爬虫由 spider， Item， Pipeline， Middleware, setting构成 在spider中（spider是一个项目蜘蛛）含有这个项目的名字，项目的域名，项目开始的网址 含有三个变量： **name：**项目的名字， **allowed_domains：**后续的爬取的网址都必须在这个域名之下， **start_urls：**项目开始的...
爬虫入门总结——scrapy
xiying15270873284的博客
04-18 220
主要有3个文件，作用分别是：字段的定义（字典的构造）、主爬取代码、文件处理（数据存储）。 代码如下： #items.py # -*- coding: utf-8 -*- import scrapy class JobItem(scrapy.Item): # define the fields for your item here like: name = scrapy...
Scrapy框架的了解与使用
carson0408的博客
05-10 723
Scrapy框架是比较常用且成熟的python爬虫框架，可以高效率地爬取web页面并提取出我们关注的结构化数据。前面介绍了手写爬虫的例子，但是每个爬虫都这么写，效率不高，同时造成代码的冗余。而使用爬虫框架可以使代码更加简洁，大大提升效率。本文主要了解一下Scrapy整体的架构、工作流程、常用命令以及创建Scrapy项目。 1.Scrapy架构 如上图所示，s...
python使用scrapy在tianqi.com爬取南京天气预报
06-10
好的，以下是一个简单的 Scrapy 爬取 tianqi.com 上南京天气预报的示例： 1. 创建 Scrapy 项目 在命令行中输入以下命令： ``` scrapy startproject tianqi_nanjing cd tianqi_nanjing ``` 2. 创建爬虫 在命令行中输入以下命令： ``` scrapy genspider nanjing www.tianqi.com ``` 这将在 `tianqi_nanjing/spiders` 目录下创建一个名为 `nanjing.py` 的文件，用于定义爬虫。 3. 编写爬虫代码 打开 `nanjing.py` 文件，将以下代码粘贴到文件中： ```python import scrapy class NanjingWeatherSpider(scrapy.Spider): name = 'nanjing' allowed_domains = ['www.tianqi.com'] start_urls = ['https://www.tianqi.com/nanjing/'] def parse(self, response): # 获取天气信息 weather_info = response.xpath('//div[@class="left fl"]/div[@class="tqshow1"]/ul/li') for info in weather_info: date = info.xpath('h3/text()').get() weather = info.xpath('p[@class="wea"]/text()').get() temperature = info.xpath('p[@class="tem"]/span/text()').get() + info.xpath('p[@class="tem"]/i/text()').get() wind = info.xpath('p[@class="win"]/i/text()').get() yield { 'city': '南京', 'date': date, 'weather': weather, 'temperature': temperature, 'wind': wind, } ``` 以上代码定义了一个名为 `NanjingWeatherSpider` 的爬虫，首先在 `start_urls` 中定义了南京天气预报页面的链接，然后在 `parse` 方法中获取天气信息，并将数据以字典的形式返回。 4. 运行爬虫 在命令行中输入以下命令： ``` scrapy crawl nanjing -o nanjing_weather.json ``` 这将运行爬虫并将爬取到的数据保存到 `nanjing_weather.json` 文件中。 以上就是一个简单的 Scrapy 爬取 tianqi.com 上南京天气预报的示例。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Eastmount

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值