python持久化存储_Python数据持久化存储

1、pymongo的使用

前三步为创建对象

第一步创建连接对象

conn = pymongo.MongoClient('IP地址'，27017)

第二步创建库

db = conn['库名']

第三步创建表

myset = db['集合名']

第四步把数据插入数据库

myset.inset.one({})

#!/usr/bin/python

# -*- coding: utf-8 -*-

# @Time : 2019/6/26 8:56

# @Author : #####

# @Site :

# @File : 猫眼电影_mongo存储.py

# @Software: PyCharm

from urllib import request

import re

import time

import pymongo

class MaoyanSpider(object):

def __init__(self):

self.headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5221.400 QQBrowser/10.0.1125.400'}

#用来计数

self.page=1

#连接对象

self.coon =pymongo.MongoClient('locslhost',27017)

#创建库对象

self.db=self.coon['maoyaodb']

#集合对象

self.myset=self.db['top100']

def get_page(self,url):

req = request.Request(url,headers=self.headers)

res = request.urlopen(req)

html = res.read().decode('utf-8')

self.parse_page(html)

def parse_page(self,html):

p = re.compile( '

.*?title="(.*?)".*?class="star">(.*?).*?class="releasetime">(.*?)',re.S)

r_list = p.findall(html)

self.write_mongo(r_list)

def write_mongo(self,r_list):

for r_t in r_list:

d={

'电影名称：':r_t[0].strip(),

'电影主演：':r_t[1].strip(),

'上映时间：':r_t[2].strip()

}

#插入数据库

self.myset.inset.one(d)

def work_on(self):

for pn in range(0,41,10):

url = 'https://maoyan.com/board/4?offset=%s' % str(pn)

self.get_page(url)

print('第%d页爬取成功' % self.page)

self.page += 1

time.sleep(4)

if __name__ == '__main__':

begin = time.time()

spider = MaoyanSpider()

spider.work_on()

end = time.time()

print("执行时间%.2f" % (end - begin))

#注不完美，仍然需修改

2、mysql的使用

Mysql-front可视化工具，建库建表添加字段

1、创建连接对象：db = pymysql.connet

2、创建游标对象：cursor = db.sursor

3、执行命令：cursor.execute()

4、提交到数据库执行

5、关闭：cursor.close

mysql-Front使用流程

1、创建数据库：

localhost--数据库--新建---数据库

数据库名改为maoyan (项目mysql库名)--- 字符集utf8 ---确定

2、创建表：

流程：选中maoyao数据库 --选中数据 ----新建 ----出现添加菜单 ---名称改为top100 ---创建成功

3、往表格中添加字段：

流程：选中top100表单  --- 数据库  ----新建  ----字段  ---出现添加界面 ----名称改为name  ---默认varchar  ---- 长度50  --确定

用同样的方法穿件字段star和time

ID一般设置为int 长度视情况而定