Python 连接并操作 MySQL 数据库,主要通过 Pymysql 模块实现。本节讲解如何将抓取的数据存储至 MySQL 数据库。
提示:在学习本节知识之前,您已经掌握了 SQL 语言的基本语法。可参考《MySQL教程》
创建存储数据表
首先您应该确定您的计算机上已经安装了 MySQL 数据库,然后再进行如下操作:
**
# 1. 连接到mysql数据库
mysql -h127.0.0.1 -uroot -p123456
# 2. 建库
create database maoyandb charset utf8;
# 3. 切换数据库
use maoyandb;
# 4. 创建数据表
create table filmtab(
name varchar(100),
star varchar(400),
time varchar(30)
);
Pymysql基本使用
1) 连接数据库
- db = pymysql.connect(‘localhost’,‘root’,‘123456’,‘maoyandb’)
参数说明:
- localhost:本地 MySQL 服务端地址,也可以是远程数据库的 IP 地址。
- root:连接数据所使用的用户名。
- password:连接数据库使用的密码,本机 MySQL 服务端密码“123456”。
- db:连接的数据库名称。
2) 创建cursor对象
**
cursor = db.cursor()
3) 执行sql命令
execute() 方法用来执行 SQL 语句。如下所示:
- #第一种方法:编写sql语句,使用占位符传入相应数据
- sql = “insert into filmtab values(‘%s’,‘%s’,‘%s’)” % (‘刺杀,小说家’,‘雷佳音’,‘2021’)
- cursor.excute(sql)
- 第二种方法:编写sql语句,使用列表传参方式
- sql = ‘insert into filmtab values(%s,%s,%s)’
- cursor.execute(sql,[‘刺杀,小说家’,‘雷佳音’,‘2021’])
4) 提交数据
**
db.commit()
5) 关闭数据库
**
cursor.close()
db.close()
完整的代码如下所示:
-
--coding:utf-8--
- import pymysql
- #创建对象
- db = pymysql.connect(‘localhost’,‘root’,‘123456’,‘maoyandb’)
- cursor = db.cursor()
-
sql语句执性,单行插入
- info_list = [‘刺杀,小说家’,‘雷佳音,杨幂’,‘2021-2-12’]
- sql = ‘insert into movieinfo values(%s,%s,%s)’
- #列表传参
- cursor.execute(sql,info_list)
- db.commit()
-
关闭
- cursor.close()
- db.close()
查询数据结果,如下所示:
**
mysql> select * from movieinfo;
+-------------+-------------------+-----------+
| name | star | time |
+-------------+-------------------+-----------+
| 刺杀,小说家 | 雷佳音,杨幂 | 2021-2-12 |
+-------------+-------------------+-----------+
1 rows in set (0.01 sec)
还有一种效率较高的方法,使用 executemany() 可以同时插入多条数据。示例如下:
- db =pymysql.connect(‘localhost’,‘root’,‘123456’,‘maoyandb’,charset=‘utf8’)
- cursor = db.cursor()
-
sql语句执性,列表元组
- info_list = [(‘我不是药神’,‘徐峥’,‘2018-07-05’),(‘你好,李焕英’,‘贾玲’,‘2021-02-12’)]
- sql = ‘insert into movieinfo values(%s,%s,%s)’
- cursor.executemany(sql,info_list)
- db.commit()
-
关闭
- cursor.close()
- db.close()
查询插入结果,如下所示:
**
mysql> select * from movieinfo;
+-------------+-------------------+------------+
| name | star | time |
+-------------+-------------------+------------+
| 我不是药神 | 徐峥 | 2018-07-05 |
| 你好,李焕英 | 贾玲 | 2021-02-12 |
+-------------+-------------------+------------+
2 rows in set (0.01 sec)
修改爬虫程序
下面修改上一节《Python爬虫抓取猫眼电影排行榜》中的爬虫程序,将抓取下来的数据存储到 MySQL 数据库。如下所示:
-
coding=gbk
- from urllib import request
- import re
- import time
- import random
- from ua_info import ua_list
- import pymysql
- class MaoyanSpider(object):
-
def __init__(self):
-
#初始化属性对象
-
self.url = 'https://maoyan.com/board/4?offset={}'
-
#数据库连接对象
-
self.db = pymysql.connect(
-
'localhost','root','123456','maoyandb',charset='utf8')
-
#创建游标对象
-
self.cursor = self.db.cursor()
-
def get_html(self,url):
-
headers = {'User-Agent':random.choice(ua_list)}
-
req = request.Request(url=url,headers=headers)
-
res = request.urlopen(req)
-
html = res.read().decode()
-
# 直接解析
-
self.parse_html(html)
-
def parse_html(self,html):
-
re_bds = '<div class="movie-item-info">.*?title="(.*?)".*?<p class="star">(.*?)</p>.*?class="releasetime">(.*?)</p>'
-
pattern = re.compile(re_bds,re.S)
-
r_list = pattern.findall(html)
-
self.save_html(r_list)
-
def save_html(self, r_list):
-
L = []
-
sql = 'insert into movieinfo values(%s,%s,%s)'
-
# 整理数据
-
for r in r_list:
-
t = (
-
r[0].strip(),
-
r[1].strip()[3:],
-
r[2].strip()[5:15]
-
)
-
L.append(t)
-
print(L)
-
# 一次性插入多条数据 L:[(),(),()]
-
try:
-
self.cursor.executemany(sql,L)
-
将数据提交数据库
-
self.db.commit()
-
except:
-
# 发生错误则回滚
-
self.db.rollback()
-
def run(self):
-
for offset in range(0,11,10):
-
url = self.url.format(offset)
-
self.get_html(url)
-
time.sleep(random.uniform(1,3))
-
# 断开游标与数据库连接
-
self.cursor.close()
-
self.db.close()
- if name == ‘main’:
-
start=time.time()
-
spider = MaoyanSpider()
-
spider.run()
-
end=time.time()
-
print("执行时间:%.2f" % (end-start))
数据库查询存储结果,如下所示:
**
mysql> select * from movieinfo;
+----------------+----------------------------------------------------------+------------+
| name | star | time |
+----------------+----------------------------------------------------------+------------+
| 我不是药神 | 徐峥,周一围,王传君 | 2018-07-05 |
| 肖申克的救赎 | 蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿 | 1994-09-10 |
| 绿皮书 | 维果·莫腾森,马赫沙拉·阿里,琳达·卡德里尼 | 2019-03-01 |
| 海上钢琴师 | 蒂姆·罗斯,比尔·努恩,克兰伦斯·威廉姆斯三世 | 2019-11-15 |
| 小偷家族 | 中川雅也,安藤樱,松冈茉优 | 2018-08-03 |
| 霸王别姬 | 张国荣,张丰毅,巩俐 | 1993-07-26 |
| 哪吒之魔童降世 | 吕艳婷,囧森瑟夫,瀚墨 | 2019-07-26 |
| 美丽人生 | 罗伯托·贝尼尼,朱斯蒂诺·杜拉诺,赛尔乔·比尼·布斯特里克 | 2020-01-03 |
| 这个杀手不太冷 | 让·雷诺,加里·奥德曼,娜塔莉·波特曼 | 1994-09-14 |
| 盗梦空间 | 莱昂纳多·迪卡普里奥,渡边谦,约瑟夫·高登-莱维特 | 2010-09-01 |
+----------------+----------------------------------------------------------+------------+
10 rows in set (0.01 sec)
这里给大家分享一份Python全套学习资料,包括学习路线、软件、源码、视频、面试题等等,都是我自己学习时整理的,希望可以对正在学习或者想要学习Python的朋友有帮助!
CSDN大礼包:全网最全《全套Python学习资料》免费分享🎁
😝有需要的小伙伴,可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓
1️⃣零基础入门
① 学习路线
对于从来没有接触过Python的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
② 路线对应学习视频
还有很多适合0基础入门的学习视频,有了这些视频,轻轻松松上手Python~
③练习题
每节视频课后,都有对应的练习题哦,可以检验学习成果哈哈!
因篇幅有限,仅展示部分资料
2️⃣国内外Python书籍、文档
① 文档和书籍资料
3️⃣Python工具包+项目源码合集
①Python工具包
学习Python常用的开发软件都在这里了!每个都有详细的安装教程,保证你可以安装成功哦!
②Python实战案例
光学理论是没用的,要学会跟着一起敲代码,动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。100+实战案例源码等你来拿!
③Python小游戏源码
如果觉得上面的实战案例有点枯燥,可以试试自己用Python编写小游戏,让你的学习过程中增添一点趣味!
4️⃣Python面试题
我们学会了Python之后,有了技能就可以出去找工作啦!下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
5️⃣Python兼职渠道
而且学会Python以后,还可以在各大兼职平台接单赚钱,各种兼职渠道+兼职注意事项+如何和客户沟通,我都整理成文档了。
上述所有资料 ⚡️ ,朋友们如果有需要 📦《全套Python学习资料》的,可以扫描下方二维码免费领取 🆓
😝有需要的小伙伴,可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓