[Python Scrapy爬虫] 二.翻页爬取农产品信息并保存本地

最新推荐文章于 2024-05-12 17:00:26 发布
最新推荐文章于 2024-05-12 17:00:26 发布
阅读量1.1w 收藏 90
点赞数 18
分类专栏： Python爬虫 Python网络爬虫 Python学习系列 文章标签： Python爬虫 Scrapy 翻页功能 存储Json XPath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Eastmount/article/details/79307675
版权

前面 "Python爬虫之Selenium+Phantomjs+CasperJS" 介绍了很多Selenium基于自动测试的Python爬虫程序，主要利用它的xpath语句，通过分析网页DOM树结构进行爬取内容，同时可以结合Phantomjs模拟浏览器进行鼠标或键盘操作。但是，更为广泛使用的Python爬虫框架是——Scrapy爬虫。这篇文章是一篇基础文章，主要内容包括：

    1.Scrapy爬取贵州农产品的详细步骤；
    2.Scrapy如何将数据存储至Json或CSV文件中；
    3.Scrapy实现三种翻页方法爬取农产品数据。

下面提供前面的一些相关文章：

    官方 Scrapy  ： http://scrapy.org/
    官方英文文档： http://doc.scrapy.org/en/latest/index.html
    官方中文文档： https://scrapy-chs.readthedocs.org/zh_CN/0.24/index.html

    入门安装知识： [Python爬虫] scrapy爬虫系列 <一>.安装及入门介绍
  BeautifulSoup：[python爬虫] BeautifulSoup爬取+CSV存储贵州农产品数据


在做数据分析时，通常会遇到预测商品价格的情况，而在预测价格之前需要爬取海量的商品价格信息，比如淘宝、京东商品等，这里作者采用Scrapy技术爬取贵州农产品数据集。

输入 "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=1" 网址，打开贵州农经网，可以查看贵州各个地区农产品每天价格的波动情况，如下图所示，主要包括五个字段：品种名称、价格、计量单位、所在市场、上传时间。


Scrapy框架自定义爬虫主要步骤如下：

  • 在CMD命令行模型下创建爬虫工程，即创建GZProject工程爬取贵州农经网。
  • 在items.py文件中定义我们要抓取的数据栏目，对应商品名称、价格、计量单位等五个字段。
  • 通过浏览器审查元素功能分析所需爬取内容的DOM结构并定位HTML节点。
  • 创建Spiders爬虫文件，定位并爬取所需内容。
  • 分析网页翻页方法，并发送多页面跳转爬取请求，不断执行Spiders爬虫直到结束。
  • 设置pipelines.py文件，将爬取的数据集存储至本地Json文件或CSV文件中。
  • 设置settings.py文件，设置爬虫的执行优先级。

下面是完整的实现过程，重点知识是如何实现翻页爬取及多页面爬取，希望对您有帮助。

一. 创建工程

在Windows环境下，我们调用“Ctrl+R”快捷键打开运行对话框，然后输出“cmd”命令打开命令行模式，然后调用“cd”命令去到某个目录下，再调用“scrapy startproject GZProject”命令创建爬取贵州农经网产品信息的爬虫工程。

创建Scrapy爬虫

scrapy startproject GZProject

在本地C盘根目录创建的GZProject工程目录如下图所示，包括常见的文件，如items.py、middlewares.py、pipelines.py、settings.py以及文件夹spiders等。




二. 设置items文件

接在我们需要在items.py文件中定义需要爬取的字段，这里主要是五个字段，调用scrapy.item子类的 Field()函数创建字段，代码如下所示。



items.py文件的代码如下：

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class GzprojectItem(scrapy.Item):
    num1 = scrapy.Field()           #品种名称
    num2 = scrapy.Field()           #价格
    num3 = scrapy.Field()           #计量单位
    num4 = scrapy.Field()           #所在市场
    num5 = scrapy.Field()           #上传时间

接下来就是核心内容，通过分析网页DOM结构并编写对应Spiders爬虫代码。




三. 浏览器审查元素

打开任意浏览器，然后调用“审查元素”或“检查”功能（该功能在不同浏览器中称呼不同，但功能都是相似的）查看所需爬取内容的HTML源代码，比如Chrome浏览器定位方法如图13.21所示。选中需要爬取元素，然后右键鼠标，点击“检查”按钮，可以看到元素对应的HTML源代码，比如图中的右边部分。



通过审查元素功能，我们可以发现每行数据都位于<tr>节点下，其class属性为“odd gradeX”，如图13.22所示，接着调用scrapy框架的xpath、css等功能进行爬取。




四. 创建Spiders爬虫并执行

然后在spiders文件夹下创建一个Python文件，主要用于实现Spider爬虫代码，创建GZSpider.py文件，工程目录如下图所示。




增加代码如下所示，在GZSpider类中定义了爬虫名（name）为“gznw”，同时代码中allowed_domains表示所爬取网址的跟地址，start_urls表示开始爬取的网页地址，然后调用parse()函数进行爬取，这里首先爬取该网友的标题，通过response.xpath('//title')函数实现。代码如图所示：



GZSpider.py

# -*- coding: utf-8 -*-
import scrapy

class GZSpider(scrapy.Spider):
    name = "gznw"                #贵州农产品爬虫
    allowed_domains = ["gznw.gov.cn"]
    start_urls = [
     "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=1"
    ]

    def parse(self, response):
        for t in response.xpath('//title'):
            title = t.extract()
            print title
        for t in response.xpath('//title/text()'):
            title = t.extract()
            print title

接下来进入C盘工程目录，执行下列命令启动Spider爬虫。

cd GZProject
scrapy crawl gznw

"scrapy crawl gznw"启动Spider爬虫，爬取贵州农经网商品，运行如图所示。程序开始运行，自动使用start_urls构造Request并发送请求，然后调用parse()函数对其进行解析，在这个解析过程中可能会通过链接再次生成Request，如此不断循环，直到返回的文本中再也没有匹配的链接，或调度器中的Request对象用尽，程序才停止。



输出结果如下所示，包括爬取的标题HTML源码“<title>贵州农经网</title>”和标题内容“贵州农经网”，如图所示。


接下来我们需要爬取商品信息，调用response.xpath('//tr[@class="odd gradeX"]')方法定位到class属性为“odd gradeX”的tr节点，并分别获取五个td节点，对应五个字段内容。完整代码如下所示：

GZSpider.py

# -*- coding: utf-8 -*-
import scrapy
from scrapy import Request
from scrapy.selector import Selector  
from GZProject.items import *  

class GZSpider(scrapy.Spider):
    name = "gznw"                #贵州农产品爬虫
    allowed_domains = ["gznw.gov.cn"]
    start_urls = [
       "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=1"
    ]

    def parse(self, response): 
        print '----------------Start------------------'
        print response.url

        for sel in response.xpath('//tr[@class="odd gradeX"]'):
            item = GzprojectItem()
            num1 = sel.xpath('td[1]/text()').extract()[0]
            num2 = sel.xpath('td[2]/text()').extract()[0]
            num3 = sel.xpath('td[3]/text()').extract()[0]
            num4 = sel.xpath('td[4]/text()').extract()[0]
            num5 = sel.xpath('td[5]/text()').extract()[0]
            print num1,num2,num3,num4,num5
            item['num1'] = num1
            item['num2'] = num2
            item['num3'] = num3
            item['num4'] = num4
            item['num5'] = num5
            yield item
        print '\n'

输出内容如下所示，同时调用“item = GzprojectItem()”代码声明了栏目item，再调用“item['num1'] = num1”代码将爬取的数据存储至栏目中。

----------------Start------------------
http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=1
猕猴桃 26 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
山楂 40 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
柿子 12 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
板栗 36 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
开心果 80 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
草莓 50 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
核桃 36 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
菜籽油 20 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
龙眼 20 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28
车厘子 100 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:28

对应输出内容如图所示。



讲到这里，我们已经将贵州农经网第一页的商品信息爬取了，那其他页面的信息，不同日期的商品信息如何爬取呢？Scrapy又怎么实现跳转翻页爬虫呢？




五. 实现翻页功能及多页面爬取

接下来我们讲解Scrapy爬虫的三种翻页方法供大家学习。当然还有更多方法，比如利用Rule类定义网页超链接的规则进行爬取，请读者下来研究，这里主要提供三种简单的翻页思想。

贵州农经网的超链接可以通过URL字段“page=页码”实现翻页，比如第二页的超链接为“http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=2”，我们访问该超链接就可以获取第二页的商品信息，如下图所示，访问其他网页的原理一样。



方法一：定义URLs超链接列表单分别爬取

Scrapy框架是支持并行爬取的，其爬取速度非常快，如果读者想爬取多个网页，可以将网页URL依次列在start_urls中。

# -*- coding: utf-8 -*-
import scrapy
from scrapy import Request
from scrapy.selector import Selector  
from GZProject.items import *  

class GZSpider(scrapy.Spider):
    name = "gznw"                #贵州农产品爬虫
    allowed_domains = ["gznw.gov.cn"]
    start_urls = [
     "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=1",
     "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=2",
     "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=3"
    ]

    def parse(self, response): 
        print '----------------Start------------------'
        print response.url

        for sel in response.xpath('//tr[@class="odd gradeX"]'):
            item = GzprojectItem()
            num1 = sel.xpath('td[1]/text()').extract()[0]
            num2 = sel.xpath('td[2]/text()').extract()[0]
            num3 = sel.xpath('td[3]/text()').extract()[0]
            num4 = sel.xpath('td[4]/text()').extract()[0]
            num5 = sel.xpath('td[5]/text()').extract()[0]
            print num1,num2,num3,num4,num5

        print '\n'

输出如下图所示，可以看到采用Scrapy爬取了三页商品内容。

方法二：拼接不同网页URL并发送请求爬取

假设我们的URL很多，如果采用方法一显然是不可行的，那么怎么处理呢？这里我们提出了第二种方法，通过拼接不同网页的URL，循环发送请求进行爬取。拼接方法如下：

next_url="http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page="+str(i)

在parse()函数中定义一个while循环，通过“yield Request(next_url)”代码发送新的爬取请求，并循环调用parse()函数进行爬取。完整代码如下所示：

GZSpider.py

# -*- coding: utf-8 -*-
import scrapy
from scrapy import Request
from scrapy.selector import Selector  
from GZProject.items import *  

class GZSpider(scrapy.Spider):
    name = "gznw"                #贵州农产品爬虫
    allowed_domains = ["gznw.gov.cn"]
    start_urls = [
     "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=1"
    ]

    def parse(self, response): 
        print '----------------Start------------------'
        print response.url

        for sel in response.xpath('//tr[@class="odd gradeX"]'):
            item = GzprojectItem()
            num1 = sel.xpath('td[1]/text()').extract()[0]
            num2 = sel.xpath('td[2]/text()').extract()[0]
            num3 = sel.xpath('td[3]/text()').extract()[0]
            num4 = sel.xpath('td[4]/text()').extract()[0]
            num5 = sel.xpath('td[5]/text()').extract()[0]
            print num1,num2,num3,num4,num5
            item['num1'] = num1
            item['num2'] = num2
            item['num3'] = num3
            item['num4'] = num4
            item['num5'] = num5
            yield item
        print '\n'

        #循环换页爬取
        i = 2
        while i<=10:
            next_url = "http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page="+str(i)
            i = i + 1
            yield Request(next_url)

输出部分结果如下所示：

----------------Start------------------
http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=8
豇豆 12 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
红薯 12 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
老南瓜 15 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
菠菜 12 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
平菇/冻菌 20 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
贡梨 26 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
油菜苔 23 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
韭菜 15 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
绿豆(干) 12 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
丝瓜 12 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25

----------------Start------------------
http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=10
黄瓜 15 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
花生油 40 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
鹌鹑蛋 20 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:25
血橙 15 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:24
羊肉 240 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:24
莲花白 6 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:24
小葱 12 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:24
绿豆 25 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:24
面粉(标准一级) 6 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:24
脐橙 15 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:24

----------------Start------------------
http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=6
羔蟹 50 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
草鱼 50 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
青蛇果 36 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
红蛇果 32 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
芒果 26 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
猪肉(肥瘦) 32 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
都匀毛尖 1,000 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
鲤鱼 60 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
鲢鱼 60 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26
鳝鱼 60 元/公斤 贵阳市息烽县城区集贸市场 2018-02-09 14:22:26

方法三：获取下一页超链接请求爬取内容

下面讲解另一种方法，获取下一页的超链接并发送请求进行爬取。通过审查元素，我们可以看到“下一页”对应的HTML源代码如下图所示。



这里我们通过代码获取class为“page-link next”的超链接（<a>），如果存在“下一页”超链接，则进行跳转爬取，如果“下一页”超链接为空，则停止爬取。核心代码如下：

next_url = response.xpath('//a[@class="page-link next"]/@href').extract()
if next_url is not None:
    next_url = 'http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx' + next_url[0]
    yield Request(next_url, callback=self.parse)

爬取的结果为"?areaid=22572&page=3"，再对获取的超链接进行拼接，得到的URL为"http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx?areaid=22572&page=3"，再调用Request()函数发送请求，爬取内容。但由于贵州农经网有4万多个页面，建议大家设置爬取网页的数量，代码如下：

i = 0
next_url = response.xpath('//a[@class="page=link next"]/@href').extract()
if next_(url is not None) and i<20:
    i = i + 1
    next_url = 'http://www.gznw.gov.cn/priceInfo/getPriceInfoByAreaId.jx' + next_url[0]
    yield Request(next_url, callback=self.parse)

接下来告诉大家如何将爬取的数据存储至本地。




六. 设置pipelines文件保存数据至本地

pipeLine文件是用来对Spider返回的Item列表进行保存操作，可以写入到文件或者数据库中。pipeLine只有一个需要实现的方法：process_item，比如将我们的Item保存到JSON格式文件中，完整代码如下：

pipelines.py

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
import codecs
import json

class GzprojectPipeline(object):

    def __init__(self):  
        self.file = codecs.open('guizhou.json', 'w', encoding='utf-8')
        
    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False) + "\n"  
        self.file.write(line)  
        return item  
        
    def spider_closed(self, spider):  
        self.file.close()

调用codecs.open('guizhou.json', 'w', encoding='utf-8')函数将数据存储至“guizhou.json”文件中，最后设置settings.py文件的优先级。




七. 设置settings文件

在该文件中设置如下代码，将贵州农经网爬虫的优先级设置为1，优先级范围从1到1000，越小优先级越高；“GZProject.pipelines.GzprojectPipeline”表示要设置的通道。

settings.py

ITEM_PIPELINES = {
    'GZProject.pipelines.GzprojectPipeline': 1
}

最后输入代码“scrapy crawl gznw”执行爬虫，输出部分结果如下所示。



同时，在本地创建的“guizhou.json”文件中保存数据如下所示，采用键值对形式显示。


如果读者想存储为CSV文件，则执行“scrapy crawl gznw -o gz.csv”，输出截图如下所示：


写到这里，一个完整的Scrapy爬取贵州农经网的农产品数据已经讲完了，后面我也将继续学习Rule类以及其不同页面的爬取，甚至包括存储至数据库中。更多的爬虫知识希望读者下来结合实际需求和项目进行深入学习，并爬取所需的数据集。

(By:Eastmount 2018-02-11 深夜4点 http://blog.csdn.net/eastmount/)

Eastmount
关注
  • 18
    点赞
  • 踩
  • 90
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
【scrapy】学习Scrapy入门
Jason Ding的专栏
01-25 2608
Scrapy介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加
爬虫如何翻页 爬取豆瓣排名250电影
qq_39558530的博客
12-07 3291
1、爬虫翻页问题： 正在做爬虫练习：爬取豆瓣电影排名前250的电影，但一页只显示排名前25的电影，爬取排名250的电影数据需翻页，爬虫遇到了翻页的问题。 2、爬虫翻页解决思路： 在网上查到有几种翻页的解决方案： 爬虫翻页技巧的四种方法_风启新尘的博客-CSDN博客_爬虫翻页 爬虫中几种翻页方式_野生猕猴桃的博客-CSDN博客_爬虫翻页 3、爬虫翻页解决方案： 综合各种解决方案后，我选择了第一个链接里面的第一种最简单的解决方案： 在URL里找到循环规律，电影每页显示排名25部电影 ..
Python 爬虫6——Scrapy的安装和使用
linshuhe1的专栏
08-10 2697
前面我们简述了使用Python自带的urllib和urllib2库完成的一下爬取网页数据的操作，但其实能完成的功能都很简单，假如要进行复制的数据匹配和高效的操作，可以引入第三方的框架，例如Scrapy便是比较常用的爬虫框架。 一、Scrapy的安装： 1.最简单的安装方式：         根据官方主页的指导：http://www.scrapy.org/         使用pip
Python爬虫实战（一）：翻页爬取数据存入SqlServer_python爬虫翻页
最新发布
m0_61330806的博客
05-12 681
别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。最近我才对这些路线做了一下新的更新，知识体系更全面了。
scrapy中如何实现翻页抓取数据
ljf520lhy的博客
12-07 2074
scrapy中如何实现翻页抓取数据
在万维网爬虫中进行翻页爬取的三种常用方案
qq_55303268的博客
05-20 4078
首先先定义scrapy中的请求方法，然后创建列表对象，再遍历列表对象，用scrapy中的Request方法(形参url为实参url)对遍历后的临时变量发起请求，yield返回Response对象，所以start_requests方法的返回值是Response，主要代码如下。，在这个URL中，limit参数表示每个页面展示的书籍数量，而offset表示此资源目录里是从第几本书开始展示，所以第二页的URL是offset=10，而不是offset=2，那么也就不能简单粗暴的用上一个案例的方法进行请求了。
【爬虫数据】存储至TXT、CSV、Excel.
风口IT猪的成长录
06-28 1674
数据存储TXTExcelCSVCSV文件互写 数据的存储是爬虫开发中一个很重要的环节，而存储的形式也分为很多种，大体来说分为两种。一种是将爬取到的数据储存到文件中，另一种就是将数据直接存储到数据库中。 本文举例子讲解如何将爬取到的数据存储到 TXT，Excel， CSV 文件中。其实这些方法大同小异，原理都差不多，只不过是分别运用了不同的库函数，使用的不同的方法而已。 TXT 存到 TXT 文件是最简单也是最好理解的，主要是用到了 open 函数。我们爬取 http://seputu.com/，获取每个标题
Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码
09-20
主要介绍了Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码,需要的朋友可以参考下
python爬虫框架scrapy实战之爬取京东商城进阶篇
09-21
主要给大家介绍了利用python爬虫框架scrapy爬取京东商城的相关资料，文中给出了详细的代码介绍供大家参考学习，并在文末给出了完整的代码，需要的朋友们可以参考学习，下面来一起看看吧。
爬取北京新发地当天货物信息并展示十五天价格变化(一)---爬取今日货物名称类型和产地
qq_62975494的博客
07-09 647
我们就是通过python模拟浏览器发送信息给服务器获取服务器所需的数据然后对获取的原始数据进行处理而不是渲染到屏幕上。
小白python爬虫入门实例2—— 翻页爬取京东商城商品数据
m0_47105676的博客
10-07 5450
import requests from bs4 import BeautifulSoup def getText(url): try: kv = {'user-agent': 'Mozilla/5.0'} r = requests.get(url, headers=kv,timeout = 30) r.raise_for_status() r.encoding = r.apparent_encoding retur.
爬虫-Scrapy（三） 翻页的实现
XiaoDao147258369的博客
03-06 2977
1. 翻页的实现 上一篇实现了单页的爬取，再加3行代码就可以实现翻页了。 基本思路是查找页面中‘下一页’按钮对应的href地址，然后回调parse方法实现循环，直至找不到’下一页’的链接为止。 QiubaiSpider.py import scrapy import re from scpy1.items import Scpy1Item class Qiubai1Spider(scrapy.Spider): name = 'qiubai1' allowed_domains = ['qiu
python爬虫如何从一个页面进入另一个页面-Python爬虫信息输入及页面的切换方法...
weixin_37988176的博客
11-01 1106
实现网页的键盘输入操作from selenium.webdriver.common.keys import Keys动态网页有时需要将鼠标悬停在某个元素上，相应的列表选项才能显示出来。而爬虫在工作的时候也需要相应的操作，才能获得列表项。driver.find_element_by_class_name(...).send_keys(需要输入的字串)#find_element_by_class_na...
webmagic四：爬取中国农网数据入库（初入江湖）
qq_28827185的博客
01-11 1136
springboot整合webmagic入库mysql，以及出现的后续问题。
python爬虫如何从一个页面进入另一个页面-爬虫入门（一）——如何打开一个网页...
weixin_37988176的博客
11-01 1975
做了一段时间自然语言处理的项目，体会到了爬虫的乐趣，甚至一度产生了学好爬虫真的可以为所欲为的美妙错觉。因此决定开个坑，记录自己的爬虫学习过程，也督促自己学习更高深的爬虫姿势。目前我只用到了最基础的爬虫知识，在此进行整理记录，以便在老年痴呆不定时记忆清零时可以快速回忆起来。本文介绍在python下，如何利用爬虫实现最简单的网页获取，包括data参数、headers参数的设置，以及cookie的使用。...
scrapy里的pipline里fields方法
青鹏 的博客
02-05 617
使用fields方法处理json数据def user_parse(self, response): # 加载下来的json数据 results = json.loads(response.text) # 调用item文件 items = ZhihuuserItem() # 循环item文件里的字段 fields方法 for item in items
python爬虫翻页_Scrapy爬虫案例01——翻页爬取
weixin_39906130的博客
11-24 1488
之前用python写爬虫，都是自己用requests库请求，beautifulsoup（pyquery、lxml等）解析。没有用过高大上的框架。早就听说过Scrapy，一直想研究一下。下面记录一下我学习使用Scrapy的系列代码及笔记。安装Scrapy的安装很简单，官方文档也有详细的说明 http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/insta...
ECommerceCrawlers之Scrapy详解（三）
asd627992512的博客
12-06 251
2021SC@SDUSC ECommerceCrawlers之Scrapy详解（三） 文章目录ECommerceCrawlers之Scrapy详解（三）Item详解Item简介定义ItemItem FieldsItem使用示例创建Item获取值设置值访问所有的值Item Loader输入/输出处理器自定义Item Loader在Field定义中声明输入/输出处理器Item Loader上下文 Item详解 Item简介 Item是保存结构数据的地方，Scrapy可以将解析结果以字典形式返回，但是Python
python使用scrapy在tianqi.com爬取南京天气预报
06-10
好的，以下是一个简单的 Scrapy 爬取 tianqi.com 上南京天气预报的示例：...这将运行爬虫并将爬取到的数据保存到 `nanjing_weather.json` 文件中。 以上就是一个简单的 Scrapy 爬取 tianqi.com 上南京天气预报的示例。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Eastmount

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值