mongodb 持久化 mysql_最详细的python爬虫指南（四）：持久化操作（mongoDB、mysql）...

一、python操作mongodb

先来看下mongodb的基础语法，因为本人用到的不多，所以只是简单整理下mongodb基本语法

01.python写入mongodb

import pymongo

from pymongo import MongoClient

#连接本地数据库

connection = MongoClient('localhost')

#连接本地数据库demo，没有就创建

db = connection.demo

#创建集合employees

emp = db.employees

#根据情况，清空所有

#emp.delete_many({})

emp.remove(None)

#创建一条数据

zhangsan = {

'name':'张三',

'age': 30,

'sex':'男',

'contact':{

'email':'abc.qq.com',

'emai2':'def.163.net'

}

}

#执行插入命令

emp.insert_one(zhangsan)

#插入多条数据

lisi = {

'name':'李四',

'habit':{'habit':'eat',

'habit2':'sleep'}

}

wangwu = {

'name':'王五',

'age': 20,

'sex':'男'

}

zhangsan1 = {

'name':'张三1',

'age': 30,

'sex':'男',

'contact':{

'email':'abcd.qq.com',

'emai2':'def.163.net'

}

}

zhaoliu = {

'name':'赵六',

'age': 20,

'sex':'男'

}

emp.insert_many([zhangsan1,lisi,wangwu,zhaoliu])

02.python查询mongodb

import pymongo

from pymongo import MongoClient

#连接mongodb

conn = MongoClient('localhost')

#连接库

db = conn.demo

#连接集合

emp = db.employees

#查询内容

#1.无条件查询

# cursor = emp.find()

# for each in cursor:

# print(each)

#有条件查询

cursor = emp.find({'name':'张三'})

#print(list(cursor)[0])

# for each in cursor:

# print(each)

#若需要表示条数，用enumerate

for i,v in enumerate(cursor):

print(i+1,v)

#3.多条件查询

# cursor = emp.find(

# {'name':{

# '$in':['张三','李四']

# }}

# )

# for each in cursor:

# print(each)

#and 查询 且

# cursor = emp.find({

# 'name':{'$in':['张三','李四']},

# 'age':30

# })

# or 查询 或

# cursor = emp.find({

# '$or':[

# {'name':{'$in':['张三','李四']}},

# {'age':{'$lt':25}}

# ]

# })

# # 子条件查询

cursor = emp.find({

'contact.emai1':'abcd.qq.com'

})

for each in cursor:

print(each)

03.python更新mongodb

import pymongo

from pymongo import MongoClient

#连接mongodb

conn = MongoClient('localhost')

#连接库

db = conn.demo

#连接集合

emp = db.employees

#$set,更新操作

# emp.update_one(

# {'name':'王五'},

# {'$set':

# {'name':'王舞',

# 'sex':'女汉子'

# }}

# )

#

# #更新多条

# #无条件

# emp.update_many(

# {},

# {'$inc':{

# {'age':1}

# }}

# )

#

# #有条件

# emp.update_many(

# {'name':{'$in':['张三','李四']}},

# {'$set':{'age':25}},

# upsert=True

# )

#生成时间

# emp.update_many(

# {'name':{'$in':['张三','王五']}},

# {'$currentDate':{

# 'create_time':True, # True相当于 {'$type':'date'}

# 'mod_time':{'$type':'timestamp'}

# }}

# )

# emp.update_one(

# {'name':'钱八'},#若钱八不存在，配合update=True可以新增

# {'$currentDate':{

# 'create_time':True,

# 'mod_time':{'$type':'timestamp'}

# }},

# upsert = True,array_filters=None

# )

# 更新字段内的字段

result = emp.update_one(

{'name':'李四'},

{'$set':{

'habit':{

'habit1':'学习',

'habit2':'运动'

}

}}

)

print(result.raw_result)

04.python删除mongodb

import pymongo

from pymongo import MongoClient

#连接mongodb

conn = MongoClient('localhost')

#连接库

db = conn.demo

#连接集合

emp = db.employees

#删除name=‘张三1’的数据

emp.delete_one({'name':'张三1'})

#删除所有'age':{'$lt':40}的数据

result= emp.delete_many({'age':{'$lt':40}})

print(result.raw_result)

05.查询同时更新

import pymongo

from pymongo import MongoClient

#连接mongodb

conn = MongoClient('localhost')

#连接库

db = conn.demo

#连接集合

emp = db.employees

result = emp.find_one_and_update(

{},

{

'$set':{'locked':1},

'$inc':{'age':10}

},

projection={'age':True,'name':True}, #显示的key

sort=[('age',pymongo.DESCENDING)], #排序

return_document=pymongo.ReturnDocument.BEFORE #更改前还是更改后

)

print(result)

06.加载外部数据到mongodb

import pymongo

import json

from pymongo import MongoClient

#1.连接本地数据库

conn = MongoClient('localhost')

#2.连接本地数据库demo，没有就创建

db = conn.newdb

#3.创建新集合

col = db.zips

#4.打开json文件

file = open('zips.json')

#迭代添加

for each in file:

eachline = json.loads(each)

col.insert_one(eachline)

#关闭文件

file.close()

二、python操作mysqlmysql基本操作

01.连接mysql并读取数据

#导入模块

import pymysql

import json

#第一步：连接到mysql数据库

conn = pymysql.connect(host='localhost',user='root',password='123456',db='mycommodity',charset="utf8")

#第二 步：创建游标对象

cursor = conn.cursor() #cursor当前的程序到数据之间连接管道

# #第三步：组装sql语句

sql = 'select * from commodity'

# sql = "select c_id,c_name,c_inprice from commodity where c_inprice>(select avg(c_inprice) from commodity where c_type=(select ct_id from commoditytype where ct_name='玩具'))"

#第四部：执行sql语句

cursor.execute(sql)

#第五步：处理结果集

#获取一条数据

# one = cursor.fetchone()

# print(one)

#获取多条数据

# many = cursor.fetchmany(3)

# print(many)

#获取所有数据

all = cursor.fetchall()

for each in all:

print(json.dumps(each, ensure_ascii=False))

# print(type(each),each)

fields = cursor.description

# print(fields)

head = []

for field in fields:

head.append(field[0])

print(head)

#第六步：关闭所有的连接

#关闭游标

cursor.close()

#关闭数据库

conn.close()

02.连接mysql并添加数据

#导入模块

import pymysql

#第一步：连接到mysql数据库

conn = pymysql.connect(host='localhost',user='root',password='123456',db='mycommodity',charset="utf8")

#第二 步：创建游标对象

cursor = conn.cursor() #cursor当前的程序到数据之间连接管道

# #第三步：组装sql语句

sql = "INSERT INTO `commodity` VALUES (null, '电脑桌', '北京', '6', '100', '200', '200')"

#第四步：执行sql语句

cursor.execute(sql)

# ！！！！！！！数据提交 commit() ,不提交数据库没有信息

conn.commit()

#第五步：处理结果集

#第六步：关闭所有的连接

#关闭游标

cursor.close()

#关闭数据库

conn.close()

03.自定义函数操作数据库

import pymysql

# 定义连接到mysql数据库的函数，返回连接对象

def getCon(db_name):

conn = pymysql.connect(host='localhost', user='root', password='123456', db=db_name, charset="utf8")

return conn

# 定义添加数据函数

def insertData(db_name,table_name,data):

conn = getCon(db_name)

# 第二 步：创建游标对象

cursor = conn.cursor() # cursor当前的程序到数据之间连接管道

#第三步：组装sql语句

sql = 'insert into '+ table_name +' values'+ data

cursor.execute(sql)

# 提交sql语句执行操作

conn.commit()

print("成功添加了{}条数据".format(cursor.rowcount))

# 关闭连接

cursor.close()

conn.close()

data1 = (0, '书桌', '南京', '6', '50', '100', '100')

insertData('mycommodity','commodity',str(data1))

04.自定义函数修改数据

import pymysql

# 定义连接到mysql数据库的函数，返回连接对象

def getCon(db_name):

conn = pymysql.connect(host='localhost', user='root', password='123456', db=db_name, charset="utf8")

return conn

# 修改数据

def updateData(db_name,table_name,conditions):

conn = getCon(db_name)

# 第二 步：创建游标对象

cursor = conn.cursor() # cursor当前的程序到数据之间连接管道

#第三步：组装sql语句

sql = 'update '+ table_name +conditions

print(sql)

cursor.execute(sql)

# 提交sql语句执行操作

conn.commit()

print("成功更新了{}条数据".format(cursor.rowcount))

# 关闭连接

cursor.close()

conn.close()

# 定义 update 的条件

condition = " set c_name = '大桌字' where c_id=70"

updateData('mycommodity','commodity',condition)