Scrapy导出欠套型JSON

最新推荐文章于 2024-10-06 17:19:15 发布
最新推荐文章于 2024-10-06 17:19:15 发布
阅读量167 收藏
点赞数
文章标签： json python 数据结构与算法
原文链接：http://www.cnblogs.com/zh672903/p/11018891.html
版权

目录

Scrapy导出欠套型JSON

scrapy如何导出类型如下结构的JSON：

[
{
    "pingPai": ["ALPINA"],
    "carTypes": [{
        "carType": ["ALPINA"],
        "carNames": {
            "carName": ["ALPINA B4",
            "ALPINA B3",
            "ALPINA D5",
            "ALPINA B7",
            "ALPINA XD3"]
        }
    }],
    "picUrl": "https://car3.autoimg.cn/cardfs/series/g27/M05/AB/2E/100x100_f40_autohomecar__wKgHHls8hiKADrqGAABK67H4HUI503.png"
},
{
    "pingPai": ["ABT"],
    "carTypes": [{
        "carType": ["ABT"],
        "carNames": {
            "carName": ["ABT A3",
            "ABT A5",
            "ABT TT"]
        }
    }],
    "picUrl": "https://car3.autoimg.cn/cardfs/series/g30/M07/B0/47/100x100_f40_autohomecar__wKgHPls9vLOAHILAAAAWGGhA_W0282.png"
}    
]

解决核心

Scrapy导出欠套型JSON实质是对列表的操作

准备知识

  • python合并多个列表，直接用“+”
list1 = [1,2,3]
list2 = [5,6,7]
print(list1+list2)
# 输出：
[1, 2, 3, 5, 6, 7]
  • python合并多个字典，用“update()”(也可以用其它方法，这里只讲update)（在此文中实际上没有用到）
dic1 = {'a':'1','b':'2'}
dic2 = {'c':'3','d':'4'}
dic1.update(dic2)
print(dic1)
# 输出：
{'a': '1', 'b': '2', 'c': '3', 'd': '4'}
  • xpath匹配得到的结果实际上是一个列表
    比如，xpath匹配到一行数据就是“[X]”，X是所匹配的值
    xpath匹配到多行数据就是“[X,Y,Z....]”

解决方法

观察如上欠套JSON，1级节点是：“pingPai”、“carTypes”、“picUrl”三个字段，根据scrapy定义items.py文件的特性，我们只需要定义这三个一级节点，定义为：
打开items.py文件，添加如下代码：

class CarModelItem(scrapy.Item):
    pingPai = scrapy.Field()  # 品牌
    carTypes = scrapy.Field()  # 车型
    picUrl = scrapy.Field()  # 品牌图片

注意

此处也可以不用定义 items.py文件 直接在导出的pipelines.py文件里面使用json.dumps系列化（把对象转换为字节序列的过程称为对象的序列化。把字节序列恢复为对象的过程称为对象的反序列化。）（json.dumps将一个Python数据结构转换为JSON，json.loads将一个JSON编码的字符串转换回一个Python数据结构）原理都是一样的，只是运用了系列化而已，本文不作讨论。

要生成欠套型的JSON，我们只需要在carTypes列表内再添加列表就行（添加值为字典“{}”类型的列表就可以了）。
比如我们要爬取地址为“https://www.autohome.com.cn/grade/carhtml/A.html”这个地址的内容，打开浏览器查看效果如下：

867881-20190616155740002-1749162414.png

查看源代码，图片和1级节点在“dl/dt”内，如下图：

867881-20190616155754964-702080782.png

第二节点和第三节点在“dl/dd”内，如下图：

867881-20190616155808529-328284052.png

这里是比较难处理的地方，一般这里我们要定义的列表为：列表内再添加列表（值为字典）的数据格式才能满足需求。
直接上代码：

class GetcarmodelSpider(scrapy.Spider):
    name = "GetCarModel"
    allowed_domains = ["www.autohome.com.cn"]
    chars = [
        "A",
        """
        "B",
        "C",
        "D",
        "F",
        "G",
        "H",
        "J",
        "K",
        "L",
        "M",
        "N",
        "O",
        "P",
        "Q",
        "R",
        "S",
        "T",
        "W",
        "X",
        "Y",
        "Z",""",
    ]
    start_urls = [
        "https://www.autohome.com.cn/grade/carhtml/%s.html" % i2 for i2 in chars
    ]

    def parse(self, response):
        dtArray = response.xpath("//dl[@id]")
        for dt in dtArray:
            pingPai = dt.xpath("./dt/div/a/text()").extract()
            pingPaiPicArr = dt.xpath("./dt/a/img/@src").extract()
            pingPaiPic = ""
            # 这里图片其实只有一张图片
            for cti in pingPaiPicArr:
                # carTypeImg = "http://" + cti[2:]
                pingPaiPic = parse.urljoin(response.url, cti)

            carTypesTemp = dt.xpath("./dd/div[@class='h3-tit']")
            carTypes = []
            for pp in carTypesTemp:
                print(">>>>>>>>>>>>>>>>>>>>>>", pp.xpath("./a/text()").extract())
                carTypes += [
                    {"carType": pp.xpath("./a/text()").extract(), "carNames": {}}
                ]

            # 获取具体名称
            carNameArray = dt.xpath("./dd/ul[@class='rank-list-ul']")
            carNames = []
            for cn in carNameArray:
                # 直接定义值为字典类型的列表，这样在循环第X次的时候取值就是carNames[X]
                carNames += [{"carName": cn.xpath("./li/h4/a/text()").extract()}]
                print(".......", [{"carName": cn.xpath("./li/h4/a/text()").extract()}])

            for i in range(len(carTypes)):
                try:
                    carTypes[i]["carNames"] = carNames[i]
                except Exception as e:
                    print(e)


            print("pingPai:", pingPai)
            print("pingPaiPic:", pingPaiPic)
            print("carTypes:", carTypes)
            print("carNames:", carNames)

            carModel = CarModelItem()
            carModel["pingPai"] = pingPai
            carModel["carTypes"] = carTypes
            carModel["picUrl"] = pingPaiPic
            yield carModel

注意，导出JSON方法这里不再说明，自行搜索，网上一大堆
运行代码，得到导出的JSON文件如下：

[{
    "pingPai": ["奥迪"],
    "carTypes": [{
        "carType": ["一汽-大众奥迪"],
        "carNames": {
            "carName": ["奥迪Q2L新能源",
            "奥迪A3",
            "奥迪A4L",
            "奥迪A6L",
            "奥迪Q2L",
            "奥迪Q3",
            "奥迪Q5L",
            "奥迪A6L新能源",
            "奥迪Q4",
            "奥迪A4",
            "奥迪A6",
            "奥迪Q5"]
        }
    },
    {
        "carType": ["Audi Sport"],
        "carNames": {
            "carName": ["奥迪RS 3",
            "奥迪RS 4",
            "奥迪RS 5",
            "奥迪RS 6",
            "奥迪RS 7",
            "奥迪R8",
            "奥迪TT RS",
            "奥迪RS Q3",
            "奥迪RSQ e-tron"]
        }
    },
    {
        "carType": ["奥迪(进口)"],
        "carNames": {
            "carName": ["奥迪e-tron",
            "奥迪A3(进口)",
            "奥迪S3",
            "奥迪A4(进口)",
            "奥迪A5",
            "奥迪S4",
            "奥迪S5",
            "奥迪A6(进口)",
            "奥迪S6",
            "奥迪A7",
            "奥迪S7",
            "奥迪A8",
            "奥迪Q7",
            "奥迪Q7新能源",
            "奥迪TT",
            "奥迪TTS",
            "奥迪A0",
            "奥迪A1",
            "奥迪S1",
            "e-tron Concept",
            "奥迪AI:ME",
            "奥迪A6新能源(进口)",
            "奥迪A7新能源",
            "奥迪Aicon",
            "奥迪e-tron GT",
            "Prologue",
            "奥迪A8新能源",
            "奥迪A9",
            "奥迪S8",
            "allroad",
            "奥迪Q2",
            "奥迪SQ2",
            "奥迪Q3(进口)",
            "奥迪Q4(进口)",
            "奥迪Q4新能源(进口)",
            "奥迪TT offroad",
            "h-tron quattro",
            "奥迪Elaine",
            "奥迪Q5(进口)",
            "奥迪Q5新能源(进口)",
            "奥迪SQ5",
            "奥迪Q8",
            "奥迪SQ7",
            "奥迪Q9",
            "e-tron Vision Gran Turismo",
            "quattro",
            "奥迪PB18",
            "奥迪R18",
            "奥迪Urban",
            "奥迪A2",
            "奥迪80",
            "奥迪A3新能源(进口)",
            "奥迪Coupe",
            "奥迪100",
            "Crosslane Coupe",
            "奥迪Cross",
            "Nanuk"]
        }
    }],
    "picUrl": "https://car2.autoimg.cn/cardfs/series/g26/M0B/AE/B3/100x100_f40_autohomecar__wKgHEVs9u5WAV441AAAKdxZGE4U148.png"
},
{
    "pingPai": ["阿斯顿·马丁"],
    "carTypes": [{
        "carType": ["阿斯顿·马丁"],
        "carNames": {
            "carName": ["Rapide",
            "V8 Vantage",
            "Vanquish",
            "阿斯顿·马丁DB11",
            "阿斯顿·马丁DBS",
            "Cygnet",
            "Rapide E",
            "阿斯顿·马丁DBX",
            "V12 Vantage",
            "阿斯顿·马丁DB9",
            "AM-RB 003",
            "Heritage EV",
            "Virage",
            "Vulcan",
            "阿斯顿·马丁CC100",
            "阿斯顿·马丁DB10",
            "阿斯顿·马丁DB5",
            "阿斯顿·马丁DP-100",
            "战神",
            "拉共达Taraf",
            "Ulster",
            "V12 Zagato",
            "阿斯顿·马丁DB6",
            "阿斯顿·马丁One-77"]
        }
    }],
    "picUrl": "https://car2.autoimg.cn/cardfs/series/g26/M06/AE/B5/100x100_f40_autohomecar__wKgHEVs9u6GAPWN8AAAYsmBsCWs847.png"
},
{
    "pingPai": ["AC Schnitzer"],
    "carTypes": [{
        "carType": ["AC Schnitzer"],
        "carNames": {
            "carName": ["AC Schnitzer 3系",
            "AC Schnitzer M4",
            "AC Schnitzer 7系",
            "AC Schnitzer X6",
            "AC Schnitzer X5"]
        }
    }],
    "picUrl": "https://car3.autoimg.cn/cardfs/series/g27/M01/B0/62/100x100_f40_autohomecar__ChcCQFs9vBKAO3YSAAAW0WOWvRc555.png"
},
{
    "pingPai": ["安凯客车"],
    "carTypes": [{
        "carType": ["安凯客车"],
        "carNames": {
            "carName": ["宝斯通"]
        }
    }],
    "picUrl": "https://car2.autoimg.cn/cardfs/series/g29/M00/AB/C8/100x100_f40_autohomecar__ChcCSFs8riCAYVA2AAApQLgf8a0969.png"
},
{
    "pingPai": ["阿尔法·罗密欧"],
    "carTypes": [{
        "carType": ["阿尔法·罗密欧"],
        "carNames": {
            "carName": ["Giulia",
            "Stelvio",
            "MiTo",
            "Giulietta",
            "Tonale",
            "ALFA 4C",
            "Disco Volante",
            "Gloria",
            "ALFA 147",
            "ALFA 156",
            "ALFA 159",
            "ALFA 166",
            "ALFA 2uettottanta",
            "ALFA 8C",
            "ALFA GT",
            "ALFA S.Z.",
            "ALFA TZ3"]
        }
    }],
    "picUrl": "https://car2.autoimg.cn/cardfs/series/g26/M05/B0/29/100x100_f40_autohomecar__ChcCP1s9u5qAemANAABON_GMdvI451.png"
},
{
    "pingPai": ["ALPINA"],
    "carTypes": [{
        "carType": ["ALPINA"],
        "carNames": {
            "carName": ["ALPINA B4",
            "ALPINA B3",
            "ALPINA D5",
            "ALPINA B7",
            "ALPINA XD3"]
        }
    }],
    "picUrl": "https://car3.autoimg.cn/cardfs/series/g27/M05/AB/2E/100x100_f40_autohomecar__wKgHHls8hiKADrqGAABK67H4HUI503.png"
},
{
    "pingPai": ["ABT"],
    "carTypes": [{
        "carType": ["ABT"],
        "carNames": {
            "carName": ["ABT A3",
            "ABT A5",
            "ABT TT"]
        }
    }],
    "picUrl": "https://car3.autoimg.cn/cardfs/series/g30/M07/B0/47/100x100_f40_autohomecar__wKgHPls9vLOAHILAAAAWGGhA_W0282.png"
},
{
    "pingPai": ["AEV ROBOTICS"],
    "carTypes": [{
        "carType": ["AEV ROBOTICS"],
        "carNames": {
            "carName": ["Modular Vehicle System"]
        }
    }],
    "picUrl": "https://car2.autoimg.cn/cardfs/series/g3/M02/58/D3/autohomecar__ChcCRVw0TJaAM8BmAAAS-7AD7DQ372.png"
},
{
    "pingPai": ["Agile Automotive"],
    "carTypes": [{
        "carType": ["Agile Automotive"],
        "carNames": {
            "carName": ["Agile Automotive SC122",
            "Agile Automotive SCX"]
        }
    }],
    "picUrl": "https://car2.autoimg.cn/cardfs/series/g26/M09/AF/8C/100x100_f40_autohomecar__wKgHHVs9r62AIbiYAAAvAsqdpoA594.png"
},
{
    "pingPai": ["Apollo"],
    "carTypes": [{
        "carType": ["Apollo"],
        "carNames": {
            "carName": ["Apollo N",
            "Arrow",
            "Intensa Emozione"]
        }
    }],
    "picUrl": "https://car3.autoimg.cn/cardfs/series/g28/M06/B0/C6/100x100_f40_autohomecar__ChcCR1s90RGASBRgAACz67wh_68723.png"
},
{
    "pingPai": ["Arash"],
    "carTypes": [{
        "carType": ["Arash"],
        "carNames": {
            "carName": ["AF8 Cassini",
            "Arash AF10"]
        }
    }],
    "picUrl": "https://car3.autoimg.cn/cardfs/series/g30/M05/AA/D4/100x100_f40_autohomecar__wKgHHFs8n1CAVhcNAAAV3xEAiDM531.png"
},
{
    "pingPai": ["ARCFOX"],
    "carTypes": [{
        "carType": ["北汽新能源"],
        "carNames": {
            "carName": ["ARCFOX-1",
            "ARCFOX ECF Concept",
            "ARCFOX-7",
            "ARCFOX-GT"]
        }
    }],
    "picUrl": "https://car3.autoimg.cn/cardfs/series/g27/M02/AB/F7/100x100_f40_autohomecar__ChcCQFs8nA6AP-h5AABsvxhHw3E709.png"
},
{
    "pingPai": ["Aria"],
    "carTypes": [{
        "carType": ["Aria"],
        "carNames": {
            "carName": ["Aria FXE"]
        }
    }],
    "picUrl": "https://car3.autoimg.cn/cardfs/series/g28/M0B/B0/0D/100x100_f40_autohomecar__wKgHI1s9r2iAJwIXAAAIBShzq60456.png"
},
{
    "pingPai": ["ATS"],
    "carTypes": [{
        "carType": ["ATS"],
        "carNames": {
            "carName": ["ATS GT"]
        }
    }],
    "picUrl": "https://car2.autoimg.cn/cardfs/series/g26/M08/D7/D3/autohomecar__ChsEe1wYwKmAY2p9AAA1NP0jCHk594.png"
},
{
    "pingPai": ["Aurus"],
    "carTypes": [{
        "carType": ["Aurus"],
        "carNames": {
            "carName": ["Senat"]
        }
    }],
    "picUrl": "https://car2.autoimg.cn/cardfs/series/g27/M07/F3/E1/autohomecar__ChcCQFuN6WiAcztKAAAsLfBmU9g074.png"
},
{
    "pingPai": ["艾康尼克"],
    "carTypes": [{
        "carType": ["艾康尼克ICONIQ Motors"],
        "carNames": {
            "carName": ["MUSE",
            "艾康尼克七系"]
        }
    }],
    "picUrl": "https://car2.autoimg.cn/cardfs/series/g29/M0A/A9/EC/100x100_f40_autohomecar__wKgHG1s8iP6ASbjTAAAOIwskkzo314.png"
},
{
    "pingPai": ["爱驰"],
    "carTypes": [{
        "carType": ["爱驰汽车"],
        "carNames": {
            "carName": ["爱驰U5",
            "爱驰U7",
            "RG Nathalie"]
        }
    }],
    "picUrl": "https://car3.autoimg.cn/cardfs/series/g29/M09/A9/9B/100x100_f40_autohomecar__wKgHG1s8fwqAOp3IAAALEeTkn6c536.png"
}]

转载于:https://www.cnblogs.com/zh672903/p/11018891.html

dichong6201
关注
【爬虫实战】汽车之家——1.0
qq_45388369的博客
08-13 1000
前言 平时喜欢到汽车之家看车，也喜欢收藏汽车模型。这次使用爬虫把汽车之家某网页的图片保存到电脑。本文章仅供学习！ 预览 目标网址：https://car.autohome.com.cn/pic/series/4171-1.html 网址预览 网址分析 随机选择一张图片右键点击检查（审查元素） 选择img标签的属性src，访问图片。 所看到的图片比例为480×360，清晰度不是很高，所有我们点击图片查看高清图片 同样右键图片，找到图片的地址，访问图片 显然，图片的清晰度明显比480×360的高
Scrapy 获取数据保存为json文件
搬砖小能手
11-07 1761
Scrapy 获取数据保存为json文件
Scrapy 导出 JSON 时中文乱码
weixin_39720495的博客
10-09 623
scrapy 导出 JSON 时中文乱码问题介绍解决方法修改后结果问题分析为什么日志中显示中文不乱码，导出时候出现乱码 问题介绍 通过 Scrapy 命令导出爬虫的结果，命令如下： scrapy crawl hotel -o hotel.json 源代码如下(hotel.py)： # -*- coding: utf-8 -*- import scrapy class HotelSpider(...
Scrapy导出中文Json文件
周少钦的博客
12-03 219
使用命令行导出 在命令行中启动爬虫时指定 scrapy crawl spidername -o filename.json 即可导出Json文件 注意 如果这个文件不存在则创建，存在则追加 scrapy将每个item作为一个字典并保存在一个总的列表中，最后将这个列表转换成json字符串保存到指定文件中 中文编码异常 如果中文编码出现异常只需要在配置文件中增加FEED_EXPORT_ENCODING = 'utf-8'将导出文件编码修改成utf-8即可 ...
scrapy的response返回json格式数据处理
wto882dim的博客
03-13 8044
直接上代码就好 import json def parse_download(self, response): # 分析试听页面得到js Request URL: #　https://wwwapi.kugou.com/yy/index.php?r=play/getdata&callback=jQuery19106319223909447684_155...
scrapy runspider 导出json文件时乱码
pardon110的博客
05-25 441
scrapy runspider 导出乱码 初步判断 ，输入输出编码不一致 FEED_EXPORT_ENCODING Default: None The encoding to be used for the feed If unset or set to None (default) it uses UTF-8 for everything except JSON output, whic...
scrapy 直接输出json文件
之度的博客
07-18 551
topic''冬天',关键是yield{
Scrapy 导出数据 cvs, json
E.W的博客
12-07 3143
scrapy crawl douban_spider -o jData.json scrapy crawl douban_spider -o cData.csv   settings中: 优先级数越小, 表示优先级高  
用Scrapy框架最后导出json文件不是中文的解决办法
BlankGrid的博客
03-06 238
在settings.py文件中添加如下代码： FEED_EXPORT_ENCODING = 'UTF-8' 在导出json文件的命令行末尾添加-s FEED_EXPORT_ENCODING=UTF-8如下所示： scrapy crawl xxx -o xxx.json -s FEED_EXPORT_ENCODING=UTF-8 ...
scrapy POST发送json 数据
Thoms_的博客
02-15 849
scrapy Post 发送数据是我们通常会用 yield scrapy.FormRequest( url = url, formdata = {"email" : "xxx", "password" : "xxxxx"}, callback = self.parse_page ) 来发送请求，但这是...
scrapy_scraping:收集来自动态网站的数据，并使用scrapy和selenium输出JSON文件
05-23
收集来自动态网站的数据，并使用scrapy和selenium输出JSON文件。 使用诸如滚动，单击，在动态页面之间导航之类的功能。 在此文件夹中，您可以找到所使用的刮spider蜘蛛。 蜘蛛程序是定义如何刮除某个站点（或一组...
scrapy 中如何爬取json数据，并解决加载慢的问题
kang_yqdhhd的博客
07-06 1320
最近重新学了边scrapy框架的使用，但是json数据的网址响应很慢，不知道大家有没有这个问题。下面我分享一下，我的经历和如何解决响应的问题。 第一步解决响应的问题： 大家有没有出现向我这样的问题呢，如果有的话，那么有一个简单的方法去解决 首先打开settings设置，然后找到这个： # Obey robots.txt rules #ROBOTSTXT_OBEY = True 把它注释掉就能解决啦，是不是很简单。 最后分享一下，我是如何处理json数据的，不过我的方法比较简单，具体的参考大佬们的写法吧。
Scrapy存储json
Aunean's Blog
09-18 535
Scrapy存储json 1.使用终端指令行方式 指令：scrapy crawl xxx -o filePath.文件类型 -s FEED_EXPORT_ENCODING=utf-8 -s FEED_EXPORT_ENCODING=utf-8 解决中文乱码 注意：持久化存储对应的文本文件类型只可以为 ‘json’, ‘jsonlines’, ‘jl’, ‘csv’, ‘xml’, ‘marshal’, ‘pickle’ 类型 2.直接创建并写入 json 文件 import os import cod
你知道在 scrapy 中，可以定制化导出数据格式吗？scrapy 导出器学习
热门推荐
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
11-08 1万+
在 Scrapy 中，导出数据的中间件叫做 Exporter，即导出器，它内置了6种可导出格式，分别是 JSON，JSON LINES，CSV，XML，Pickle，Matshal。
U mamba配置问题；‘KeyError: ‘file_ending‘
最新发布
weixin_52153243的博客
10-06 309
是否指向正确的路径，并且该路径下确实有。：在抛出异常之前，添加打印语句输出。函数中，添加检查逻辑以处理缺失的。：确认 JSON 文件中确实有。的内容，确保其被正确加载。，并且它的拼写完全正确。这个错误仍然是因为在。
PHP如何解析配置文件
sheji888的专栏
10-06 679
选择哪种方法取决于你的需求和偏好。INI文件简单且易于手动编辑，而YAML和JSON文件则更适合复杂和层次化的配置结构。PHP数组文件则提供了最大的灵活性，但可能会让配置与代码混淆。无论你选择哪种方法，都要确保配置文件的安全性和可读性，特别是在生产环境中。
使用axios封装AJAX
LvManBa的博客
10-06 824
一 、Http 请求报文 包括了三部分： 求情行、请求头，请求体。 1、请求行： 是HTTP请求的第一行，包含了请求方法、请求目标和HTTP协议版本。常用的请求方法有GET、POST、PUT、DELETE等，用于指定客户端希望服务器执行的操作。请求目标是指请求的资源路径，可以是一个具体的文件路径或者是一个URL。HTTP协议版本通常是HTTP/1.1。 请求类型： 2、请求头： 请求头包含了客户端向服务器传递的额外信息，以键值对的形式表示。常见的请求头有以下几种：请求头可以包含多个。 Host：指定服
vue3实现excel文件预览和打印功能
bjzhang75的博客
10-04 415
vue3实现excel文件预览和打印功能
Laravel Admin 中的 “Array to String Conversion“ 问题及其解决方法
Xerale的博客
10-01 535
在使用 Laravel Admin 进行开发时，可能会遇到 “Array to string conversion” 的错误。这种错误通常发生在尝试将一个数组转换为字符串的过程中，尤其是在数据库模型中使用Eloquent时。本文将详细解释该错误的原因，并提供解决方案。
scrapy items存成json文件
11-13
以下是使用Scrapy将items存储为JSON文件的步骤： 1. 在Scrapy项目中的settings.py文件中添加以下代码，以启用JSON输出： ``` FEED_FORMAT = "json" FEED_URI = "output.json" ``` 2. 在Scrapy项目中的items.py文件中定义要爬取的数据字段，例如： ```python import scrapy class BookItem(scrapy.Item): title = scrapy.Field() author = scrapy.Field() description = scrapy.Field() ``` 3. 在Scrapy项目中的spider文件中，使用定义的item字段来填充数据，例如： ```python import scrapy from myproject.items import BookItem class MySpider(scrapy.Spider): name = 'example.com' allowed_domains = ['example.com'] start_urls = ['http://www.example.com'] def parse(self, response): item = BookItem() item['title'] = response.css('title::text').extract_first() item['author'] = response.css('author::text').extract_first() item['description'] = response.css('description::text').extract_first() yield item ``` 4. 运行Scrapy爬虫并将输出保存为JSON文件，例如： ``` scrapy crawl myspider -o output.json ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值