python爬虫写入数据库_用python写网络爬虫三:数据库缓存

数据库缓存：

为 了避免磁盘缓存方案的 己知限制，下面我们会在现有数据库系统之上创建缓存 。 爬取时， 我们可能需要缓存大量数据， 但又无须任何复杂的连接操作， 因此我们将选用 NoSQL 数据库， 这种数据库 比传统的关系型数据库更易于扩展。在本节中 ， 我们将会选用 目 前非常流行的 MongoDB 作为缓存数据库。

NoSql是什么

NoSQL 全称为 Not Only SQL， 是一种相对较新的数据库设计方式。 传统

的关系模型使用 的是固定模式， 并将数据分割到各个表中 。 然而， 对于大数

据集的情况， 数据量太大使其难 以存放在单一服务器中 ， 此时就需要扩展到

多 台服务器。 不过， 关系模型对于这种扩展的支持并不够好， 因为在查询多

个表时， 数据可能在不同的服务器中 。 相反， NoSQL 数据库通常是无模式的，

从设计之初就考虑了跨服务器无缝分片 的 问题。 在 NoSQL 中 ， 有多种方式可

以实现该 目 标， 分别是列数据存储 （ 如 HBase）、 键值对存储 （如 Redis）、 面

向文档的数据库 （ 如 MongoDB） 以及图形数据库 （ 如 Neo4j ） 。

windows安装MongoDB:

下载之后一直点击下一步安装完成，

配置环境变量 我的电脑-属性-高级系统设置-环境变量-path路径下添加mogodb路径（D:\mongdb\bin）注意路径与之前的需要用;分号间隔

在mongodb路径下建立data文件夹

在cmd中输入mongod --dbpath D:\mongdb\data 启动

重开一个cmd然后输入mongo 看是否链接成功

或者在浏览器输入http://localhost:27017/ （27017是默认端口）显示如下则启动成功

返回结果显示.jpg

安装pymongo python封装库

pip install pymongo

在python中使用MongoDB的默认端口链接MongoDB

from pymongo import MongoClient

client = MongoClient('localhost', 27017)

存取缓存数据：

from pymongo import MongoClient

client = MongoClient('localhost', 27017)

url = 'http://example.webscraping.com/view/united-kingdom-239'

html = 'f'

db = client.cache

db.webpage.insert({'url': url, 'html': html})

print db.webpage.find_one({'url': url})

db.webpage.insert({'url': url, 'html': html})

print db.webpage.find({'url': url}).count()

如果是想更新内容则使用update将上面更改一下

new_html = ''

db.webpage.update({'_id': url},{'$set':{'html' : new_html}}, upsert = True)

print db.webpage.find_one({'_id': url})

使用MongoDB实现缓存

from datetime import datetime, timedelta

from pymongo import MongoClient

from link_crawler import link_crawler

class MongoCache:

def __init__(self, client=None, expires=timedelta(days=30)):

self.client = MongoClient('localhost', 27017)

self.db = self.client.cache

self.db.webpage.create_index('timestamp', expireAfterSeconds=expires.total_seconds())

def __getitem__(self, url):

record = self.db.webpage.find_one({'_id': url})

if record:

return record['result']

else:

raise KeyError(url + 'does not exist')

def __setitem__(self, url, result):

record = {'result': result, 'timestamp': datetime.utcnow()}

self.db.webpage.update({'_id': url}, {'$set': record}, upsert=True)

if __name__ == '__main__':

link_crawler('http://example.webscraping.com/', '/(index|view)', cache=MongoCache())

总结：

缓存己下载的网页可以节省时间 ， 并能最小化重新爬取网站所耗费的带宽 。 缓存的主要缺点是会占用磁盘空间 ， 不过我们可 以使用压缩的方式减少空间 占用 。 此外， 在类似 MongoDB 等现有数据库的基础之上创建缓存， 可以避免文件系统的各种限制。

学习《用Python写网络爬虫》

相关源码