Python爬虫之储存海量数据

存储数据

存储海量数据

数据持久化的首选方案应该是关系型数据库，关系型数据库的产品很多，包括：Oracle、MySQL、SQLServer、PostgreSQL等。如果要存储海量的低价值数据，文档数据库也是不错的选择，MongoDB是文档数据库中的佼佼者，之前我们已经讲解过MongDB的相关知识，在此不再进行赘述。

数据缓存

通过《网络数据采集和解析》一文，我们已经知道了如何从指定的页面中抓取数据，以及如何保存抓取的结果，但是我们没有考虑过这么一种情况，就是我们可能需要从已经抓取过的页面中提取出更多的数据，重新去下载这些页面对于规模不大的网站倒是问题也不大，但是如果能够把这些页面缓存起来，对应用的性能会有明显的改善。可以使用Redis来提供高速缓存服务，关于Redis的知识，我们在《NoSQL入门》一文中已经做过简要的介绍。

实例 - 缓存知乎发现上的链接和页面代码

如果你依然在编程的世界里迷茫，
不知道自己的未来规划，
对python感兴趣，
这里推荐一下我的学习交流圈：832 139 748，
里面都是学习python的，
从最基础的python【python，游戏，黑客技术，网络安全，数据挖掘，爬虫】
到网络安全的项目实战的学习资料都有整理，
送给每一位python小伙伴，
希望能帮助你更了解python，学习python

from hashlib import sha1
from urllib.parse import urljoin

import pickle
import re
import requests
import zlib

from bs4 import BeautifulSoup
from redis import Redis


def