Python3爬虫之数据存储

Python爬虫之数据存储

基本介绍

经过爬取，解析，接下来我们要将我们想要的数据存储下来，我们有以下几种选择方案

• json
• csv
• excel
• mysql
• mongoDB

由于我讲的是基本爬虫，故使用最简单常用的json字符串来进行存储

JSON基本介绍

理想的数据交换语言，易于人阅读和编写，同时也易于机器解析和生成 ， 并有效地提升网络传输效率 。本质就是字符串

JSON在python中支持的数据类型

1. 对象（字典）。使用{}。
2. 数组（列表）。使用【】。
3. 整形、浮点型、布尔类型还有null类型。
4. 字符串类型（字符串必须要用双引号，不能用单引号）。

字典（对象）和列表（数组）转为JSON格式

​ 使用json.dumps方法

import json

books = [
    {
   
        'title': '钢铁是怎样练成的',
        'price': 9.8
    },
    {
   
        'title': '红楼梦'