本文介绍了Python爬虫如何配合不同的数据库进行数据存储，包括MySQL、SQLite和MongoDB的使用。针对不同场景，讨论了各种数据库的优势和适用性，例如MySQL适合大规模数据和复杂查询，SQLite作为轻量级数据库适用于单机应用，而MongoDB则适合处理字段变化大和高并发的爬虫数据。此外，还提供了数据库连接和数据插入的Python代码示例。
图片来自于网络
Python与数据库-网络爬虫存储
@(数据科学)[小树枝来了, 帮助, Markdown, 网络爬虫, 数据存储]
关系数据库存储-MySQL为例
爬虫配合MySQL存储
瑞士军刀-SQLite
分布式数据存储-NoSQL数据库
爬虫配合mongoDB存储
tips:
使用虚拟环境时，conda安装的组件在jupyter中无法import，需要在虚拟环境中重新conda install jupyter notebook；
存在基础环境和虚拟环境共用jupyter环境；
conda install beautifulsoup4
可以用jupyter notebook进行MATLAB开发，在matlab安装目录中查找python文件里面的setup，用console运行生成python-MATLAB适配器built文件即可；注意：MATLAB只支持python3.5和python2.7；
假设你已经(或者有能力)获取大量数据(通过爬取)，那么选择何种方式去存储数据非常重要
一般而言就爬虫问题，我们可以选择：
文本文件的形式保存(比如csv)
数据库
文件系统
第一种
优势：方便，随时使用，不需要第三方的支持
劣势：健壮性差，扩展性差
第二种
优势：良好的扩展性，使用广泛
劣势：(硬要说的话)需要第三方支持，需要进行选择，对技术有一定要求
第三种
更自由，但技术要求会更高
当你选择使用数据库作为你的爬虫的后端存储方案时，核心的问题是：
哪种数据库或者组合能够最好解决你的问题？
数据库类型
关系型，键值型，文档型等等
驱动力
实际解决的问题场景
关系型：数据库查询的灵活性 > 灵活的模式
面向列的数据库：适合存储多机的海量数据
数据库的特性
除了CRUD
数据库是否有模式
数据库是否支持快速索引查找
数据库是否支持自由定义的查询
数据库是否在查询前必须先进行规划
数据库的性能
是否方便进行优化
是否容易对读写进行优化
支不支持分片，复制
数据库的伸缩性
横向扩展(MongoDB)
纵向扩展(PostgreSQL)
说说爬虫：
一般的数据，基本上都没有问题
数据变大，数据量和并发都很大的时候
关系型数据库容量和读写能力可能会有问题
爬虫的信息(一般来说比如文本)，一般不需要建立关系
爬虫字段经常变化，相对严格模式的关系数据库，NoSQL会更有优势
文档型(MongoDB)更加自由
容易横向扩展、分片、复制
爬虫数据比较脏乱
有时无法预期数据的字段(先爬下来再说)
NoSQL可以做Map Reduce优化
关系数据库：
以集合理论为基础的系统，实现为具有行和列的二维表
利用SQL(结构化查询语言)编写查询，与数据库管理系统交互
SQLite, MySQL, PostgreSQL
创建database：
INSERT INTO countries (country_code, country_name)
VALUES ('us', 'United States'), ('mx','Mexico'),
('au','Australia'), ('gb','United Kingdom'),
('de','Germany'), ('ll','Loompaland');
select * from countries;
select * from cities;
show tables;
INSERT INTO countries (country_code, country_name)
VALUES ('us', 'United States');
DELETE FROM countries WHERE country_code = 'll';
CREATE TABLE cities(
name varchar(128) NOT NULL,
postal_code VARCHAR(9) CHECK (postal_code <> ''),
country_code CHAR(2) REFERENCES countries,
PRIMARY KEY (country_code, postal_code)
);
INSERT INTO cities
VALUES ('Portland', '87200', 'us');
UPDATE cities
SET postal_code = '97205'
WHERE name = 'Portland';
SELECT cities.*, country_name
FROM cities INNER JOIN countries
ON cities.country_code = countries.country_code;
DROP TABLE IF EXISTS venues;
CREATE TABLE venues(
venue_id int AUTO_INCREMENT PRIMARY KEY,
name VARCHAR(255),
street_address varchar(16),
typev CHAR(8),
postal_code VARCHAR(9),
country_code CHAR(10),
FOREIGN KEY (country_code, postal_code)
REFERENCES cities (country_code, postal_code) MATCH FULL
);
SELECT * FROM venues;
INSERT INTO venues (name, postal_code, country_code)
VALUES ('crystal ballroom', '97205', 'us');
SELECT v.venue_id, v.name, c.name
FROM venues v INNER JOIN cities c
ON v.postal_code=c.postal_code AND v.country_code = c.country_code;
创建链接：
# 模板
import pymysql
# 创建和数据库server的连接
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='rootROOT', db='mysql')
# connect(charset='utf8')
# cur是一种能从包括多条数据记录的结果中每次提取一条记录的机制
# 可以说认为cur就是指针
# cur一种临时的数据库对象
cur = conn.cursor()
#cur.execute(“SQL代码”)
#cur.execute("CREATE DATABASE shdata")
#cur.execute("USE shdata")
cur.close()
conn.close()
# 先建立cur，再执行字符设置
import pymysql
conn = pymysql.connect(host = '127.0.0.1', port=3306, user = 'root', passwd = 'rootROOT', db='mysql')
cur = conn.cursor()
**cur.execute('SET NAMES utf8')
cur.execute('SET CHARACTER SET utf8')
cur.execute('SET character_set_connection=utf8')**
# 使用sddatabase数据库
cur.execute("USE hz")
#插入数据 (编码解决)
#请查看commit的作用
cur.execute("INSERT INTO users2 VALUES(1, 'alice'),(2, 'bob'),(3, 'jack'),(4, 'rose')")
#查询
cur.execute("SELECT * FROM users2")
for row in cur.fetchall():
print('%s\t%s' % row)
关键点，必须要提交
#表修改或插入数据后commit
conn.commit()
#关闭
cur.close()
#表修改或插入数据后commit
conn.commit()
conn.close()
MongoDB安装
tips：
官网下载，这里是msi
直接安装，然后将path放好
C:\Program Files\MongoDB\Server\3.4\bin;(因为你要用到mongod)
启动MongoDB服务之前需要必须创建数据库文件的存放文件夹，否则命令不会自动创建，且不能启动
e.g.
建立一个D:\mongodb\data\db
然后开启mongodb的服务：
mongod --dbpath D:\mongodb\data\db
开服务的时候可能会遇到
"丢失api-ms-win-crt-runtime-l1-1-0.dll的提示，可通过运行vc_redist.2015.exe的方式解决"
命令行下运行 MongoDB 服务器
为了从命令提示符下运行 MongoDB 服务器，你必须从 MongoDB 目录的 bin 目录中执行 mongod.exe 文件。
C:\Program Files\MongoDB\Server\3.4\bin\mongod --dbpath D:\mongodb\data\db
如果执行成功，会输出如下信息：
2015-09-25T15:54:09.212+0800 I CONTROL Hotfix KB2731284 or later update is not
installed, will zero-out data files
2015-09-25T15:54:09.229+0800 I JOURNAL [initandlisten] journal dir=c:\data\db\j
ournal
2015-09-25T15:54:09.237+0800 I JOURNAL [initandlisten] recover : no journal fil
es present, no recovery needed
2015-09-25T15:54:09.290+0800 I JOURNAL [durability] Durability thread started
2015-09-25T15:54:09.294+0800 I CONTROL [initandlisten] MongoDB starting : pid=2
488 port=27017 dbpath=c:\data\db 64-bit host=WIN-1VONBJOCE88
2015-09-25T15:54:09.296+0800 I CONTROL [initandlisten] targetMinOS: Windows 7/W
indows Server 2008 R2
2015-09-25T15:54:09.298+0800 I CONTROL [initandlisten] db version v3.0.6
……
连接MongoDB
我们可以在命令窗口中运行 mongo.exe 命令即可连接上 MongoDB，执行如下命令：
C:\Program Files\MongoDB\Server\3.4\bin\mongo.exe
MongoDB使用
利用工具：Robomongo(图形化操作)
建立一个连接
然后进行操作
名词比较：
SQL:MongoDB:解释
database:database:数据库
table:collection:表/集合
row:document:数据行/文档
primary key:primary key 主键/MongoDB自动将_id字段设置为主键
注意:
在mongo中创建一个collection,只需要在该collection中插入第一条记录。由于mongo没有模式，不需要预先定义模式(比如create)，可以直接使用。而且，就算你建立了一个新的collection，比如mongo book，你不插入数据，这个collection其实并不存在。
# 命令行下：
> mongo newdb
> use yourdb
> db.towns.insert({
name: "New York",
population: 2220000,
last_census: ISODate("2009-07-31"),
famous_for: ["status of liberty", "food"],
mayor: {
name: "Jack",
party: "I"
}
})
> show collections
> db.towns.find()
插入数据
采用javascript语言写，在mongo控制台：
> function insertCity(name, population, last_census,famous_for,mayor_info){
db.towns.insert({
name: name,
population: population,
last_census: ISODate(last_census),
famous_for: famous_for,
mayor: mayor_info
});
}
> insertCity("Punxsutawney", 6200, '2008-31-01', ["phil the groundhog"], {name: "Jim"})
> insertCity("Portland", 52800, '2007-31-01', ["beer","food"], {name: "Sam"})
> db.towns.find()
> db.towns.find(
{famous_for:'food'},
{_id:0, name:1, famous_for:1}
)
MongoDB配合python使用
import pymongo
建立连接：
from pymongo import MongoClient
client = MongoClient()
#client = MongoClient('localhost', 27017)
#client = MongoClient('mongodb://localhost:27017')
#访问数据库
db = client.newdb
#db = client['pymongo_test']
#不管有没有，自动建立
#插入文档
posts = db.posts
post_data = {
'title': 'Python and MongoDB',
'content': 'PyMongo is fun',
'author': 'jack'
}
result = posts.insert_one(post_data)
print('插入一条记录: {0}'.format(result.inserted_id))
# ServerSelectionTimeoutError: localhost:27017: [WinError 10061] 由于目标计算机积极拒绝，无法连接。
#插入文档
posts = db.posts
post_data = {
'title': 'Python and MongoDB',
'content': 'PyMongo is fun',
'author': 'jack'
}
result = posts.insert_one(post_data)
print('插入一条记录: {0}'.format(result.inserted_id))
#同时插入多组
post_1 = {
'title': 'Python and MongoDB',
'content': 'PyMongo is fun',
'author': 'jack'
}
post_2 = {
'title': 'Virtual Environments',
'content': 'Use virtual environments',
'author': 'alice'
}
post_3 = {
'title': 'Learning Python',
'content': 'Learn Python, 从入门到放弃',
'author': 'alice'
}
new_result = posts.insert_many([post_1, post_2, post_3])
print('插入多条: {0}'.format(new_result.inserted_ids))
#查找
bills_post = posts.find_one({'author': 'jack'})
print(bills_post)
#查找多条
alice_posts = posts.find({'author': 'alice'})
print(alice_posts)
#查找多条
for post in alice_posts:
print(post)
案例分析
针对Ajax异步加载，发现json数据，可以直接入库
import requests
url = 'http://www.guokr.com/scientific/'
# 和花瓣的区别，不用找link，直接把json数据入库
import json
url = 'http://www.guokr.com/apis/minisite/article.json?retrieve_type=by_subject&limit=20&offset=78&_=1492275395425'
html = requests.get(url)
data_list = json.loads(html.text)
print(data_list.keys())
for data in data_list['result']:
#pass
print(data)
输出：
dict_keys(['now', 'ok', 'limit', 'result', 'offset', 'total'])
{'image': '', 'is_replyable': True, 'channels': [], 'channel_keys': [], 'preface': '', 'id': 442811, 'subject': {'url': 'https://www.guokr.com/scientific/subject/biology/', 'date_created': '2014-05-23T16:22:09.282129+08:00', 'name': '生物', 'key': 'biology', 'articles_count': 2617}, 'copyright': 'owned_by_translate', 'author': {'url': 'https://www.smithsonianmag.com/author/joshua-rapp-learn/', 'introduction': '新闻记者，写作领域为科学、文化和环境', 'nickname': 'Joshua Rapp Learn', 'avatar': {'small': 'https://pbs.twimg.com/profile_images/727488838759682048/zK3SAwdF.jpg', 'large': 'https://pbs.twimg.com/profile_images/727488838759682048/zK3SAwdF.jpg', 'normal': 'https://pbs.twimg.com/profile_images/727488838759682048/zK3SAwdF.jpg'}}, 'image_description': '', 'is_show_summary': False, 'minisite_key': 'sciblog', 'image_info': {'url': 'https://3-im.guokr.com/nF4LLMvJ7oittqYCTztIqICCyPHkkg_19Yhd2cqhJblKAQAA6wAAAEpQ.jpg', 'width': 330, 'height': 235}, 'subject_key': 'biology', 'minisite': {'name': '科技评论', 'url': 'https://www.guokr.com/site/sciblog/', 'introduction': '科学与思考是人类前进的两只脚，协同一致，我们才能真正进步', 'key': 'sciblog', 'date_created': '2010-10-20T16:20:44+08:00', 'icon': 'https://3-im.guokr.com/wUTGS9coWHVZatYqlPTFGo1ig-2JKzSeLNm1FHweYXRuAAAAWgAAAEpQ.jpg'}, 'tags': ['生物', '考古', '狼', '狗', '同位素', '食物'], 'date_published': '2018-03-07T12:04:42+08:00', 'video_content': '', 'authors': [{'introduction': '新闻记者，写作领域为科学、文化和环境', 'url': 'https://www.smithsonianmag.com/author/joshua-rapp-learn/', 'nickname': 'Joshua Rapp Learn', 'avatar': 'https://pbs.twimg.com/profile_images/727488838759682048/zK3SAwdF.jpg', 'ukey_author': None}], 'replies_count': 35, 'is_author_external': True, 'recommends_count': 0, 'title_hide': '狗是人类的好朋友，但朋友也曾经只是食物', 'date_modified': '2018-03-07T12:06:55.212594+08:00', 'url': 'https://www.guokr.com/article/442811/', 'title': '狗是人类的好朋友，但朋友也曾经只是食物', 'small_image': 'https://3-im.guokr.com/nF4LLMvJ7oittqYCTztIqICCyPHkkg_19Yhd2cqhJblKAQAA6wAAAEpQ.jpg', 'summary': '狗：啥？你再说一遍！', 'ukey_author': None, 'date_created': '2018-03-07T12:04:42+08:00', 'resource_url': 'https://apis.guokr.com/minisite/article/442811.json'}
from bs4 import BeautifulSoup
import requests
import json
import pymongo
url = 'http://www.guokr.com/scientific/'
def getData(url):
connection = pymongo.MongoClient('localhost', 27017)
guokeDB = connection.guokeDB
guokeData = guokeDB.guokeData
html = requests.get(url)
data_list = json.loads(html.text)
print(data_list.keys())
for data in data_list['result']:
guokeData.insert_one(data)
urls = ['http://www.guokr.com/apis/minisite/article.json?retrieve_type=by_subject&limit=20&offset={}&_=1462252453410'.format(str(i)) for i in range(20, 100, 20)]
for url in urls:
getData(url)
扫一扫
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
