我们对网页进行请求后，然后利用解析器解析出数据，而做数据采集中很重要的一步就是数据存储，如何将爬取的数据保存下来，以及有哪几种途径，我这里大致的介绍一下。我们一般主要有四种，TXT文件，JSON文件，CSV文件以及数据库存储。
文章目录
1.TXT文件存储
将数据保存到TXT文本的操作非常简单，而且TXT文本几乎兼容任何平台，但是这有个缺点，那就是不利于检索。所以如果对检索和数据结构要求不高，追求方便第一的话，可以采用TXT文本存储。本节中，我们就来看下如何利用Python保存TXT文本文件。
我下面用个具体实例让大家了解一下，比如我们要保存知乎上发现的热门话题，将问题和答案下来。
具体实例
首先，可以用requests将网页源代码获取下来，然后使用BeautifulSoup解析库解析，接下来将提取的发现的标签、发现的内容 然后保存到文本，代码如下：
import requests
from bs4 import BeautifulSoup
url = 'https://www.zhihu.com/explore'
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
html = requests.get(url, headers=headers).text
doc = BeautifulSoup(html,'lxml')
questions_Tag1 = doc.find_all('a',attrs ={'class':'ExploreSpecialCard-contentTag'})
questions1 = doc.find_all('a',attrs ={'class':'ExploreSpecialCard-contentTitle'})
for i in range(len(questions)):
questions_Tag =questions_Tag1[i].text
questions =questions1[i].text
file = open('explore.txt', 'a', encoding='utf-8')
file.write('\n'.join([questions_Tag,questions]))
file.write('\n' + '=' * 50 + '\n')
file.close()
这里我没有构造之前请求的异常处理部分，直接先用requests请求知乎的发现页面，然后把热门的内容弄了一下来，用python内置的open()函数打开一个文件，来获取文件操作对象，这里赋值为file，接着利用file对象的write()方法将提取的内容写入文件，最后调用close()方法将其关闭，这样抓取的内容即可成功写入文本中了。
这里我们要注意打开一个文件记得关闭，不然文件一直处于占用状态，再不能用其他应用打开这个文件。
最后我们的运行结果是：
这样发现的内容就会被保存成文本形式。这里open()方法的第一个参数即要保存的目标文件名称，第二个参数为a，代表以追加方式写入到文本。另外，我们还指定了文件的编码为utf-8。最后，写入完成后，还需要调用close()方法来关闭文件对象。
txt文件基本操作
在刚才的实例中，open()方法的第二个参数设置成了a，这样在每次写入文本时不会清空源文件，而是在文件末尾写入新的内容，这是一种文件打开方式。关于文件的打开方式，其实还有其他几种，这里简要介绍一下。
r：以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。
rb：以二进制只读方式打开一个文件。文件指针将会放在文件的开头。
r+：以读写方式打开一个文件。文件指针将会放在文件的开头。
rb+：以二进制读写方式打开一个文件。文件指针将会放在文件的开头。
w：以写入方式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建新文件。
wb：以二进制写入方式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建新文件。
w+：以读写方式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建新文件。
wb+：以二进制读写格式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建新文件。
a：以追加方式打开一个文件。如果该文件已存在，文件指针将会放在文件结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，则创建新文件来写入。
ab：以二进制追加方式打开一个文件。如果该文件已存在，则文件指针将会放在文件结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，则创建新文件来写入。
a+：以读写方式打开一个文件。如果该文件已存在，文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在，则创建新文件来读写。
ab+：以二进制追加方式打开一个文件。如果该文件已存在，则文件指针将会放在文件结尾。如果该文件不存在，则创建新文件用于读写
这些参数设置方便我们对文件操作，但我们需要注意的是a是追加，w是覆盖重写，这两个不要混用。
简化写法
另外，文件写入还有一种简写方法，那就是使用with as语法。在with控制块结束时，文件会自动关闭，所以就不需要再调用close()方法了。这种保存方式可以简写如下：
with open('explore.txt', 'a', encoding='utf-8') as file:
file.write('\n'.join([question, author, answer]))
file.write('\n' + '=' * 50 + '\n')
上面这个利用Python将结果保存为TXT文件的方法，这种方法简单易用，操作高效，是一种最基本的保存数据的方法。
2.JSON文件存储
在JavaScript语言中，一切都是对象。因此，任何支持的类型都可以通过JSON来表示，例如字符串、数字、对象、数组等，但是对象和数组是比较特殊且常用的两种类型，下面简要介绍一下它们。
JSON对象特点
对象：它在JavaScript中是使用花括号{}包裹起来的内容，数据结构为{key1：value1, key2：value2, …}的键值对结构。在面向对象的语言中，key为对象的属性，value为对应的值。键名可以使用整数和字符串来表示。值的类型可以是任意类型。
数组：数组在JavaScript中是方括号[]包裹起来的内容，数据结构为[“java”, “javascript”, “vb”, …]的索引结构。在JavaScript中，数组是一种比较特殊的数据类型，它也可以像对象那样使用键值对，但还是索引用得多。同样，值的类型可以是任意类型。
我们可以写出一个JSON对象如下：
[{
"name": "Bob",
"gender": "male",
"birthday": "1992-10-18"
}, {
"name": "Selina",
"gender": "female",
"birthday": "1995-10-18"
}]
中括号括起相当于列表形式，列表中每个元素可以是任意类型，我展示的这个是字典，JSON可以由以上两种形式自由组合，无限次嵌套，结构清晰，是数据交换的极佳方式。
读取JSON
Python为我们提供了简单易用的库来实现JSON文件的读写操作，我们可以调用库的loads()方法将JSON文本字符串转为JSON对象，可以通过dumps()方法将JSON对象转为文本字符串。
import json
str = '''
[{
"name": "Bob",
"gender": "male",
"birthday": "1992-10-18"
}, {
"name": "Selina",
"gender": "female",
"birthday": "1995-10-18"
}]
'''
print(type(str))
data = json.loads(str)
print(data)
print(type(data))
运行结果如下：
<class 'str'>
[{'name': 'Bob', 'gender': 'male', 'birthday': '1992-10-18'}, {'name': 'Selina', 'gender': 'female', 'birthday': '1995-10-18'}]
<class 'list'>
这里使用loads()方法将字符串转为JSON对象。由于最外层是中括号，所以最终的类型是列表类型。我们后面可以通过索引来获取相关的信息，比如：
data[0]['birthday']
data[0].get('birthday')
得到的结果都是：
'1992-10-18'
通过中括号加0索引，可以得到第一个字典元素，然后再调用其键名即可得到相应的键值。获取键值时有两种方式，一种是中括号加键名，另一种是通过get()方法传入键名。这里推荐使用get()方法，这样如果键名不存在，则不会报错，会返回None。另外，get()方法还可以传入第二个参数（即默认值），如果没有键名，则返回第二个参数，示例如下：
data[0].get('age')
data[0].get('age', 25)
得到结果是：
25
值得注意的是，JSON的数据需要用双引号来包围，不能使用单引号。例如，若使用如下形式表示，则会出现错误：
import json
str = '''
[{
'name': 'Bob',
'gender': 'male',
'birthday': '1992-10-18'
}]
'''
data = json.loads(str)
这样运行的结果会出现JSON解析错误的提示，这是因为用单引号来包围，请千万注意JSON字符串的表示需要用双引号，否则loads()方法会解析失败。
如果从JSON文本中读取内容，例如这里有一个data.文本文件，其内容是刚才定义的JSON字符串，我们可以先将文本文件内容读出，然后再利用loads()方法转化：
import json
with open('data.json', 'r') as file:
str = file.read()
data = json.loads(str)
print(data)
运行结果如下：
[{'name': 'Bob', 'gender': 'male', 'birthday': '1992-10-18'}, {'name': 'Selina', 'gender': 'female', 'birthday': '1995-10-18'}]
输出文件
另外，我们还可以调用dumps()方法将JSON对象转化为字符串。例如，将上例中的列表重新写入文本：
import json
data = [{
'name': 'Bob',
'gender': 'male',
'birthday': '1992-10-18'
}]
with open('data.json', 'w') as file:
file.write(json.dumps(data))
利用dumps()方法，我们可以将JSON对象转为字符串，然后再调用文件的write()方法写入文本，结果如图：
另外，如果想保存JSON的格式，可以再加一个参数indent，代表缩进字符个数。示例如下：
with open('data.json', 'w') as file:
file.write(json.dumps(data, indent=2))
结果：
另外，如果JSON中包含中文字符，会怎么样呢？例如，我们将之前的JSON的部分值改为中文，写入文件全部会变成Unicode编码，这不是想要的结果。为了输出中文，还需要指定参数ensure_ascii为False，另外还要规定文件输出的编码：
import json
data = [{
'name': '王伟',
'gender': '男',
'birthday': '1992-10-18'
}]
with open('data.json', 'w', encoding='utf-8') as file:
file.write(json.dumps(data, indent=2, ensure_ascii=False))
这样就得到我们想要的结果了。
了解了用Python进行JSON文件读写的方法，后面做数据解析时经常会用到，希望大家可以掌握。
3.CSV文件存储
CSV，全称为Comma-Separated Values，中文可以叫作逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据。该文件是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分隔。每条记录由字段组成，字段间的分隔符是其他字符或字符串，最常见的是逗号或制表符。不过所有记录都有完全相同的字段序列，相当于一个结构化表的纯文本形式。它比Excel文件更加简介，XLS文本是电子表格，它包含了文本、数值、公式和格式等内容，而CSV中不包含这些内容，就是特定字符分隔的纯文本，结构简单清晰。所以，有时候用CSV来保存数据是比较方便的。本节中，我们来讲解Python读取和写入CSV文件的过程。
写入文件
首先我们来了解一下如何下入一个文件中。
import csv
with open('data.csv', 'w') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['id', 'name', 'age'])
writer.writerow(['10001', 'Mike', 20])
writer.writerow(['10002', 'Bob', 22])
writer.writerow(['10003', 'Jordan', 21])
首先，打开data.csv文件，然后指定打开的模式为w（即写入），获得文件句柄，随后调用csv库的writer()方法初始化写入对象，传入该句柄，然后调用writerow()方法传入每行的数据即可完成写入。运行结束后，会生成一个名为data.csv的文件，此时数据就成功写入了。
写入的结果是：
id,name,age
10001,Mike,20
10002,Bob,22
10003,Jordan,21
可以看到，写入的文本默认以逗号分隔，调用一次writerow()方法即可写入一行数据。如果想要修改列与列之间的分隔符，可以传入delimiter参数，其代码如下：
import csv
with open('data.csv', 'w') as csvfile:
writer = csv.writer(csvfile, delimiter=' ')
writer.writerow(['id', 'name', 'age'])
writer.writerow(['10001', 'Mike', 20])
writer.writerow(['10002', 'Bob', 22])
writer.writerow(['10003', 'Jordan', 21])
其他都是不变的，我们可以看看输出的结果：
id name age
10001 Mike 20
10002 Bob 22
10003 Jordan 21
另外，我们也可以调用writerows()方法同时写入多行，此时参数就需要为二维列表，例如：
import csv
with open('data.csv', 'w') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['id', 'name', 'age'])
writer.writerows([['10001', 'Mike', 20], ['10002', 'Bob', 22], ['10003', 'Jordan', 21]])
结果是和上面一样的。但是一般情况下，爬虫爬取的都是结构化数据，我们一般会用字典来表示。在csv库中也提供了字典的写入方式，示例如下：
import csv
with open('data.csv', 'w') as csvfile:
fieldnames = ['id', 'name', 'age']
writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
writer.writeheader()
writer.writerow({'id': '10001', 'name': 'Mike', 'age': 20})
writer.writerow({'id': '10002', 'name': 'Bob', 'age': 22})
writer.writerow({'id': '10003', 'name': 'Jordan', 'age': 21})
这里先定义3个字段，用fieldnames表示，然后将其传给DictWriter来初始化一个字典写入对象，接着可以调用writeheader()方法先写入头信息，然后再调用writerow()方法传入相应字典即可。最终写入的结果是完全相同的，内容如下：
id,name,age
10001,Mike,20
10002,Bob,22
10003,Jordan,21
这样就可以完成字典到CSV文件的写入了。
另外，如果想追加写入的话，可以修改文件的打开模式，即将open()函数的第二个参数改成a，代码如下：
import csv
with open('data.csv', 'a') as csvfile:
fieldnames = ['id', 'name', 'age']
writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
writer.writerow({'id': '10004', 'name': 'Durant', 'age': 22})
最后的运行结果是：
id,name,age
10001,Mike,20
10002,Bob,22
10003,Jordan,21
10004,Durant,22
如果要写入中文内容的话，可能会遇到字符编码的问题，此时需要给open()参数指定编码格式。比如，这里再写入一行包含中文的数据，代码需要改写如下：
import csv
with open('data.csv', 'a', encoding='utf-8') as csvfile:
fieldnames = ['id', 'name', 'age']
writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
writer.writerow({'id': '10005', 'name': '王伟', 'age': 22})
这里需要给open()函数指定编码，否则可能发生编码错误。
另外，如果接触过pandas等库的话，可以调用DataFrame对象的to_csv()方法来将数据写入CSV文件中。
读取CSV文件
我们同样可以使用csv库来读取CSV文件。例如，将刚才写入的文件内容读取出来，相关代码如下：
import csv
with open('data.csv', 'r', encoding='utf-8') as csvfile:
reader = csv.reader(csvfile)
for row in reader:
print(row)
返回结果是：
['id', 'name', 'age']
['10001', 'Mike', '20']
['10002', 'Bob', '22']
['10003', 'Jordan', '21']
['10004', 'Durant', '22']
['10005', '王伟', '22']
这里我们构造的是Reader对象，通过遍历输出了每行的内容，每一行都是一个列表形式。注意，如果CSV文件中包含中文的话，还需要指定文件编码。
另外，如果接触过pandas的话，可以利用read_csv()方法将数据从CSV中读取出来，例如：
import pandas as pd
df = pd.read_csv('data.csv')
print(df)
运行结果如下：
id name age
0 10001 Mike 20
1 10002 Bob 22
2 10003 Jordan 21
3 10004 Durant 22
4 10005 王伟 22
这两种方法在数据存储中用的比较广泛。
4.数据库存储
我们平常用的数据库有mongb和MySQL数据库，这里我就说了MySQL数据库，在python中与其对应的第三方库pymysql，在开始之前，请确保已经安装好了MySQL数据库并保证它能正常运行，而且需要安装好PyMySQL库。这些可以看网上安装步骤。
连接数据库
这里，首先尝试连接一下数据库。假设当前的MySQL运行在本地，用户名为root，密码为123456，运行端口为3306。这里利用PyMySQL先连接MySQL，然后创建一个新的数据库，名字叫作spiders，代码如下：
import pymysql
db = pymysql.connect(host='localhost',user='root', password='123456', port=3306)
cursor = db.cursor()
cursor.execute('SELECT VERSION()')
data = cursor.fetchone()
print('Database version:', data)
cursor.execute("CREATE DATABASE spiders DEFAULT CHARACTER SET utf8")
db.close()
运行结果是：
Database version: ('5.6.22',)
这里通过PyMySQL的connect()方法声明一个MySQL连接对象db，此时需要传入MySQL运行的host（即IP）。由于MySQL在本地运行，所以传入的是localhost。如果MySQL在远程运行，则传入其公网IP地址。后续的参数user即用户名，password即密码，port即端口（默认为3306）。
连接成功后，需要再调用cursor()方法获得MySQL的操作游标，利用游标来执行SQL语句。这里我们执行了两句SQL，直接用execute()方法执行即可。第一句SQL用于获得MySQL的当前版本，然后调用fetchone()方法获得第一条数据，也就得到了版本号。第二句SQL执行创建数据库的操作，数据库名叫作spiders，默认编码为UTF-8。由于该语句不是查询语句，所以直接执行后就成功创建了数据库spiders。接着，再利用这个数据库进行后续的操作。
创建表
一般来说，创建数据库的操作只需要执行一次就好了。当然，我们也可以手动创建数据库。以后，我们的操作都在spiders数据库上执行。
创建数据库后，在连接时需要额外指定一个参数db。我们下面创建一个学生信息的表，主要有三项，姓名，学号，年龄。下面我们可以看看怎么创建：
import pymysql
db = pymysql.connect(host='localhost', user='root', password='123456', port=3306, db='spiders')
cursor = db.cursor()
sql = 'CREATE TABLE IF NOT EXISTS students (id VARCHAR(255) NOT NULL, name VARCHAR(255) NOT NULL, age INT NOT NULL, PRIMARY KEY (id))'
cursor.execute(sql)
db.close()
插入数据
当我们创建一个表之后就要给它插入数据了
import pymysql
id = '20120001'
user = 'Bob'
age = 20
db = pymysql.connect(host='localhost', user='root', password='123456', port=3306, db='spiders')
cursor = db.cursor()
sql = 'INSERT INTO students(id, name, age) values(%s, %s, %s)'
try:
cursor.execute(sql, (id, user, age))
db.commit()
except:
db.rollback()
db.close()
需要执行db对象的commit()方法才可实现数据插入，这个方法才是真正将语句提交到数据库执行的方法。对于数据插入、更新、删除操作，都需要调用该方法才能生效，最后，我们加了一层异常处理。如果执行失败，则调用rollback()执行数据回滚，相当于什么都没有发生过。我们还要记住数据库打开之后也要关闭。
更新数据
但是在实际的数据抓取过程中，大部分情况下需要插入数据，但是我们关心的是会不会出现重复数据，如果出现了，我们希望更新数据而不是重复保存一次。另外，就像前面所说的动态构造SQL的问题，所以这里可以再实现一种去重的方法，如果数据存在，则更新数据；如果数据不存在，则插入数据。另外，这种做法支持灵活的字典传值。示例如下：
data = {
'id': '20120001',
'name': 'Bob',
'age': 21
}
table = 'students'
keys = ', '.join(data.keys())
values = ', '.join(['%s'] * len(data))
sql = 'INSERT INTO {table}({keys}) VALUES ({values}) ON DUPLICATE KEY UPDATE'.format(table=table, keys=keys, values=values)
update = ','.join([" {key} = %s".format(key=key) for key in data])
sql += update
try:
if cursor.execute(sql, tuple(data.values())*2):
print('Successful')
db.commit()
except:
print('Failed')
db.rollback()
db.close()
删除数据
删除操作相对简单，直接使用DELETE语句即可，只是需要指定要删除的目标表名和删除条件，而且仍然需要使用db的commit()方法才能生效。示例如下：
table = 'students'
condition = 'age > 20'
sql = 'DELETE FROM {table} WHERE {condition}'.format(table=table, condition=condition)
try:
cursor.execute(sql)
db.commit()
except:
db.rollback()
db.close()
查询数据
有的时候我们需要对数据库信息判断去重，我们需要从数据库读出相应的信息，然后和新数据对比，如果不重复，在进行保存。
sql = 'SELECT * FROM students WHERE age >= 20'
try:
cursor.execute(sql)
print('Count:', cursor.rowcount)
one = cursor.fetchone()
print('One:', one)
results = cursor.fetchall()
print('Results:', results)
print('Results Type:', type(results))
for row in results:
print(row)
except:
print('Error')
这样就会打印出我们相应查询的信息。
这里讲解的都是一些基础操作，如果我们想了解更多，可以去看对应的资料。
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
