最新手把手学爬虫第四弹——数据存储(2)，2024年最新Python客户端Web页面通用性能优化实践

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

file.write(f’{mystr}\n’)

保存为JSON

json作为一种很常见的数据存储格式，通常以一个大括号包裹着键值对的形式，例如下面的这个数据

{‘name’:‘张三’, ‘age’:18, ‘sex’:‘男’}

数据存储为json

def save_json(data):

with open(‘…/Include/电影.json’, ‘a’, encoding=‘utf-8’) as file:

file.write(f’{data}\n’)

保存为CSV

逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。

因为爬虫里面我们通常会以字典的形式保存数据，所以这里我就演示如何将字典数据存储为csv文件。

数据存储为csv

def save_csv(data):

with open(‘…/Include/电影.csv’, ‘a’, encoding=‘utf-8’) as file:

注意这里的fieldnames里的字段必须和你要存储的字典里的键对应，否则会报错

fieldnames = [‘电影名称：’, ‘导演与演员：’, ‘电影评分：’, ‘评价人数：’, ‘电影总结：’]

writer = csv.DictWriter(file, fieldnames=fieldnames)

writer.writerow(data)

保存到数据库

---

保存到MySQL

MySQL作为一种开源关系型数据深受开发者的喜欢，在爬虫数据存储的过程中我们也经常使用。

与前面存储为文本形式不同，存储到数据库时我们通常需要先连接数据库，然后才能执行存储操作，这里我事先在mysql里面见一个名为movies的数据库和一张名为movie的数据表。

数据存储到MySQL

def save_mysql(data):

建立连接

db = pymysql.connect(host=‘127.0.0.1’, user=‘root’, password=‘123456’, port=3306, db=‘movies’)

建立游标

cursor = db.cursor()

sql语句

sql = "insert into movice(mname,director,score,allcount,summary) values (%s,%s,%s,%s,%s) "

操作

data = (data[‘电影名称：’], data[‘导演与演员：’], data[‘电影评分：’], data[‘评价人数：’], data[‘电影总结：’])

try:

cursor.execute(sql,data)

db.commit()

except Exception as e:

print(‘插入数据失败’, e)

db.rollback() # 回滚

关闭游标

cursor.close()

关闭连接

db.close()

保存到MongoDB

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。

MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

和上面连接数据库一样，我们存储数据之前需要先连接数据库，然后执行对应的数据库语句才能完成操作。

数据存储到MongoDB

def save_mongo(data):

创建数据库连接

client = pymongo.MongoClient(host=‘localhost’, port=27017)

指定数据库

db = client.movies

指定集合

collection = db.movie

执行操作

result = collection.insert_one(data)

print(result)

保存到Redis

Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。Redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部 分场合可以对关系数据库起到很好的补充作用。

数据存储到Redis

def save_redis(data):

r = redis.Redis(host=‘localhost’, port=6379, db=1, decode_responses=True, password=‘123456’)

r.hset(‘movies’, data[‘电影名称：’], json.dumps(data))

读取Redis数据

def read_redis():

r = redis.Redis(host=‘localhost’, port=6379, db=1, decode_responses=True, password=‘123456’)

for k in r.hkeys(‘movies’):

d = r.hget(‘movies’, k)

print(json.loads(d))

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！