5. Python爬虫进阶基础——MySQL数据库操作

最新推荐文章于 2023-12-07 09:29:22 发布
最新推荐文章于 2023-12-07 09:29:22 发布
阅读量2.5k 收藏 24
点赞数 4
分类专栏： Python网络爬虫专栏（语法+应用） 文章标签： python MySQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44940488/article/details/118880298
版权

 目录

1.  连接MySQL

2.  执行SQL语句

3.  创建表

4.  插入数据

5.  查看数据

6.  修改数据

7.  删除数据

1.  连接MySQL

语法格式：

connect(host='127.0.0.1',user='root',passwd='',db='test')

      其中，host代表服务器名；user为登录用户名；passwd代表指定用户的密码；db为所需要连接的数据库。 

代码实例：

import MySQLdb												#导入模块
conn=MySQLdb. connect(host='127.0.0.1',user='root',passwd='',db='test')		#连接数据库
cur=conn.cursor()												#创建游标对象
if cur:
	print("成功连接到MySQL")

2.  执行SQL语句

语法格式：

execute(self, query, args)

      其中，参数query为需要执行的SQL语句，args为语句的参数列表，执行该方法将会执行相应的SQL语句，返回值为数据库中受影响的行数。 

      执行完SQL语句之后，可以调用fetchone()方法或fetchall()方法来返回一条结果或所有结果行。

代码实例：

import MySQLdb						# 导入模块
conn=MySQLdb.connect(host='127.0.0.1',user='root',passwd='',db='test')		# 连接数据库

cur=conn.cursor()					# 创建游标对象
sql="select version()"				# 定义SQL语句查看版本
cur.execute(sql)					# 执行SQL语句
version=cur.fetchone()			    # 获取结果
print("当前MySQL的版本为：",version)		# 输出结果

sql="select now()"					# 定义SQL语句查看时间
cur.execute(sql)
time=cur.fetchone()
print("当前日期时间为：",time)
cur.close()
conn.close()

3.  创建表

代码实例

import MySQLdb				# 导入模块
conn=MySQLdb.connect(host='127.0.0.1',user='root',passwd='',db='test')		# 连接数据库
cur=conn.cursor()			# 创建游标对象
sql="show tables"			# 定义SQL语句
cur.execute(sql)			# 执行SQL语句
result=cur.fetchone()		# 获取结果
print("当前数据库中表的个数为：",result)		# 输出结果

sql_create_table="""CREATE TABLE STUDENT (
		ID INT,
		NAME  CHAR(20) NOT NULL,
		AGE INT,  
		SEX CHAR(2),
		DEGREE INT )"""
cur.execute(sql_create_table)
sql="show tables"						# 定义SQL语句
cur.execute(sql)				# 执行SQL语句
result=cur.fetchone()		# 获取结果
print("建表操作后数据库中表的个数为：",result)			# 输出结果
cur.close()
conn.close()

4.  插入数据

语法格式：

INSERT TABLENAME(COLUMN_NAME1, COLUMN_NAME2,...)
        VALUES ('VALUE1', 'VALUE2',...)

      其中，tablename为需要执行插入的表的名称，column_name为字段名（或者叫列名），value为字段相对应的值。执行该SQL语句就会把指定的数据添加到表中。 

代码实例：

import MySQLdb												#导入模块
conn=MySQLdb.connect(host='127.0.0.1',user='root',passwd='',db='test')		#连接数据库
conn.set_character_set('utf8')									#设置字符集
cur=conn.cursor()												#创建游标对象
sql="SELECT COUNT(*) FROM STUDENT"										#定义SQL语句
cur.execute(sql)											#执行SQL语句
result=cur.fetchone()										#获取结果
print("当前数据表student的记录数为：",result[0])						#输出结果
print("执行插入数据")
insert="""INSERT INTO `STUDENT` (`ID`, `NAME`, `AGE`, `SEX`, `DEGREE`) VALUES
	('1','李雷','15','男','1'),
	('2','韩梅梅',15,'女','1'),
	('3','张三','16','男','3'),
	('4','小马','14','男','3'),
	('5','高霞','15','女','3')
	"""
cur.execute(insert)
conn.commit()
sql="SELECT COUNT(*) FROM STUDENT"										#定义SQL语句
cur.execute(sql)											#执行SQL语句
result=cur.fetchone()										#获取结果
print("插入后数据表student的记录数为：",result[0])						#输出结果
cur.close()
conn.close()

5.  查看数据

语法格式：

select field1,field2,..., fieldn from 表名 [where 条件];

      其中，field为字段名称，where为有条件的查询。 

代码实例：

（1）简单的数据查询

import MySQLdb												#导入模块
conn=MySQLdb.connect(host='127.0.0.1',user='root',passwd='',db='test')		#连接数据库
cur=conn.cursor()												#创建游标对象
conn.set_character_set('utf8')										#设置字符集
sql="SELECT * FROM STUDENT"							#定义SQL语句
cur.execute(sql)												#执行SQL语句
result=cur.fetchall()												#获取结果
print("==================================")
for re in result:
	print(re[0],end="")
	print("\t",re[1],end="")
	print("\t",re[2],end="")
	print("\t",re[3],end="")
	print("\t",re[4])
	print("==================================")
cur.close()
conn.close()

（2）有条件的数据查询

import MySQLdb												#导入模块
conn=MySQLdb.connect(host='127.0.0.1',user='root',passwd='',db='test')		#连接数据库
cur=conn.cursor()												#创建游标对象
conn.set_character_set('utf8')										#设置字符集
sql="SELECT * FROM STUDENT WHERE SEX='男'"							#定义SQL语句
cur.execute(sql)												#执行SQL语句
result=cur.fetchall()												#获取结果
print("所有的男性：")
print("==================================")
for re in result:
	print(re[0],end="")
	print("\t",re[1],end="")
	print("\t",re[2],end="")
	print("\t",re[3],end="")
	print("\t",re[4])
	print("==================================")
cur.close()
conn.close()

6.  修改数据

语法格式：

UPDATE table_name SET field1 = value1, field2=value2 WHERE 条件

      修改数据的SQL语句通常需要带WHERE条件子句，以保证只有符合条件的记录被修改，否则可能所有记录都会被改成某种状态。 

代码实例：

import MySQLdb												#导入模块
conn=MySQLdb.connect(host='127.0.0.1',user='root',passwd='',db='test')		#连接数据库
cur=conn.cursor()												#创建游标对象
conn.set_character_set('utf8')										#设置字符集
sql="SELECT * FROM STUDENT WHERE ID='3'"							#定义SQL语句
cur.execute(sql)												#执行SQL语句
re=cur.fetchone()												#获取结果
print("修改前内容为：")
print("==================================")
print(re[0],end="")
print("\t",re[1],end="")
print("\t",re[2],end="")
print("\t",re[3],end="")
print("\t",re[4])
update="UPDATE STUDENT set DEGREE='2' WHERE ID='3'"				#定义修改记录SQL语句
cur.execute(update)												#执行修改
conn.commit()													#提交操作
sql="SELECT * FROM STUDENT WHERE ID='3'"							#定义SQL语句
cur.execute(sql)												#执行SQL语句
re=cur.fetchone()												#获取结果
print("修改后内容为：")
print("==================================")
print(re[0],end="")
print("\t",re[1],end="")
print("\t",re[2],end="")
print("\t",re[3],end="")
print("\t",re[4])
cur.close()
conn.close()

7.  删除数据

语法格式：

DELETE FROM table_name [WHERE Clause]

      执行该SQL语句就会将符合条件的记录从表中删除。与修改记录一样，这里也需要使用WHERE条件子句，这样可以确保只有满足一定条件的记录才会被删除，如果不使用WHERE条件子句，那么所有记录都会被删除，后果将无法挽回。 

代码实例：

import MySQLdb												#导入模块
conn=MySQLdb.connect(host='127.0.0.1',user='root',passwd='',db='test')		#连接数据库
cur=conn.cursor()												#创建游标对象
conn.set_character_set('utf8')										#设置字符集
sql="SELECT * FROM STUDENT"									#定义SQL语句
cur.execute(sql)												#执行SQL语句
result=cur.fetchall()												#获取结果
print("删除记录之前表中内容为：")
print("==================================")
for re in result:													#遍历结果
	print(re[0],end="")
	print("\t",re[1],end="")
	print("\t",re[2],end="")
	print("\t",re[3],end="")
	print("\t",re[4])
	print("==================================")
sql_del="DELETE FROM STUDENT WHERE id='4'"
cur.execute(sql_del)
conn.commit()
sql="SELECT * FROM STUDENT"									#定义SQL语句
cur.execute(sql)												#执行SQL语句
result=cur.fetchall()												#获取结果
print("删除记录之后表中内容为：")
print("==================================")
for re in result:													#遍历结果
	print(re[0],end="")
	print("\t",re[1],end="")
	print("\t",re[2],end="")
	print("\t",re[3],end="")
	print("\t",re[4])
	print("==================================")

cur.close()
conn.close()
简时刻
关注
  • 4
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
python爬虫基础操作：爬取MySQL数据库存储的信息
python爬虫程序学习教程
05-08 2257
@本文来源于公众号：csdn2299，喜欢可以关注公众号 程序员学府 本文实例讲述了Python3爬虫学习之MySQL数据库存储爬取的信息。分享给大家供大家参考，具体如下： 数据库存储爬取的信息（MySQL） 爬取到的数据为了更好地进行分析利用，而之前将爬取得数据存放在txt文件中后期处理起来会比较麻烦，很不方便，如果数据量比较大的情况下，查找更加麻烦，所以我们通常会把爬取的数据存储到数据库中便于后期分析利用。 这里，数据库选择MySQL，采用pymysql 这个第三方库来处理python和mysql数据库
python的execute函数功能_python数据库操作常用功能使用详解(创建表/插入数据/获取数据)...
weixin_39862899的博客
12-05 1万+
实例1、取得MYSQL版本代码如下:# -*- coding: UTF-8 -*-#安装MYSQL DB for pythonimport MySQLdb as mdbcon = Nonetry:#连接mysql的方法：connect('ip','user','password','dbname')con = mdb.connect('localhost', 'root','root', 'tes...
Python爬虫之在MySQL中存储数据
naer_chongya的博客
05-25 5231
本文简要介绍了MySQL的基本概念、Python中使用MySQL存储数据的主要步骤，并讨论了一些实际开发中需要注意的问题，包括数据库表的创建、数据库连接的封装、SQL注入的风险和数据库连接池的使用。MySQL作为一款广泛应用的数据库管理系统，在爬虫中的应用也是非常重要的一环，相信通过学习本文，读者可以更好地掌握Python爬虫中如何使用MySQL进行数据存储。
python3爬取数据导入mysql_Python3实现的爬虫爬取数据并存入mysql数据库操作示例
weixin_30753697的博客
02-03 1708
本文实例讲述了Python3实现的爬虫爬取数据并存入Mysql数据库操作。分享给大家供大家参考，具体如下：爬一个电脑客户端的订单。罗总推荐，抓包工具用的是HttpAnalyzerStdV7，与chrome自带的F12类似。客户端有接单大厅，罗列所有订单的简要信息。当单子被接了，就不存在了。我要做的是新出订单就爬取记录到我的数据库zyc里。设置每10s爬一次。抓包工具页面如图： 首先是爬虫，先找到数...
Python连接MySQL数据库
Python全栈之巅
02-23 1万+
目录 一、连接数据库 二、创建一张新表 三、向表中插入一条数据 四、查询表中的数据 五、更新表中的数据 六、删除表中的数据 七、删除一张表 一、 连接数据库 1、下载安装pymyql库 pip3 installpymysql 2、导入库 import pymysql 3、连接数据库，最好用try except捕获异常 DBHOST = 'localhost...
python连接数据库
m0_50127633的博客
12-01 241
连接数据库并且查询数据 ''' 1、导入模块 2、建立连接对象 3、创建游标对象 4、使用游标对象执行sql 5、获取执行的结果 6、输出获取的内容 7、关闭游标对象 8、关闭连接 ''' # 1、导入模块 import pymysql # 2、建立连接对象 conn=pymysql.connect(host="localhost",user="root",password="1234567",database="test") # 3、创建游标对象 cur=conn.cursor() # 4、使用游标对象
python_mysql
weixin_41560737的博客
03-13 400
pymysql模块 pip3 install pymysql pymysql使用流程 1. 建立数据库连接 （db = pymysql.connect(…)） 2. 创建游标对象 （cur = db.cursor() ） 3. 游标方法： cur.execute("insert … ") 4. 提交到数据库或者获取数据 ： 修改更新提交 db.commit() 获取数据 cu
构造类实现mysql增改查以及常用的方法
我是一言
01-16 575
几个知识点 cur.execute()返回值是影响条数 fetchone()是取结果集中的第一条,所以多条里取一条记得让目标数据在第一条才能用这个方法 fetchmany() 读取多条 fetchall()获取全部数据 cursor.rownumber 获取当前游标位置 cursor.scroll(2,mode='relative')将游标前移2个位置 conn.rollback()回滚事务 ...
Python SQLite CRUD 操作
allway2的博客
06-21 857
在本教程中，您将学习如何使用 SQLite 数据库在 Python 中执行 CRUD 操作。Python 以 sqlite3 模块的形式内置了对 SQLite 的支持。该模块包含对 SQLite 数据库执行持久 CRUD 操作的函数。 Sqlite 数据库 SQLite 是一个独立的事务关系数据库引擎，不需要服务器配置，如 Oracle、MySQL 等。它是由 D. Richard Hipp 于 2000 年 8 月开发的开源和进程内库。整个 SQLite 数据库包含在一个文件中，该文件可以放在计算机文
cur.execute(sql,args)和cur.execute(sql)的区别
热门推荐
mjjyszazc的博客
04-29 2万+
python语法中操作数据库，执行一条sql语句有两种方式： 方式一： userid = “123” sql = “select id,name from user where id = ‘%s’” % userid cur.execute(sql) 方式二： userid = “123” sql = "“select id,name from user where id = %s” c...
利用 python操作爬虫数据存入mysql数据库。
05-11
利用 python操作爬虫数据存入mysql数据库。 内容全面，运行一切正常。 内有注释。 用面向对象编程的方法写的。 通过本例的学习，能解开对数据库存取的困惑。 学会了本例，你将逐类旁通。 再也不怕不会用mysql了。
Python网络爬虫进阶教程.pdf
08-06
9 网络爬虫进阶之 Selenium 篇 9.1 Selenium 简介 . . . . . . . . 9.1.1 Selenium 是什么 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 9.1.2 Selenium 特点 . . . . . . . . ....
04.python函数进阶.md
最新发布
05-10
04.python函数进阶.md
Python爬虫进阶之多线程爬取数据并保存到数据库
12-21
今天刚看完崔大佬的《python3网络爬虫开发实战》，顿时觉得自己有行了，准备用appium登录QQ爬取列表中好友信息，接踵而来的是一步一步的坑，前期配置无数出错，安装之后连接也是好多错误，把这些错误解决之后，找APP...
MySQL数据库学习（7）
a316495442的博客
12-14 415
MySQL是最流行的关系型数据库管理系统，在这里我使用 PyMySQL 连接数据库，并实现简单的增删改查。 PyMySQL是在 Python3.x版本中用于连接 MySQL服务器的一个库，Python2中则使用 mysqldb。 PyMySQL遵循 Python数据库 API v2.0规范，并包含了 pure-Python MySQL客户端库。 我们可以使用 pip来安装PyMySQL：pip install PyMySQL 测试 PyMySQL是否安装成功：import pymysql 如果没有产生错误，
python爬虫数据连接MySQL数据库
2301_78233353的博客
12-07 420
四，通过pymysql写入数据记录。三，通过pymysql创建数据表。3，输入下面的代码创建数据表。二，连接mysql数据库。
Python SQLite 基本操作和经验技巧（一）
CUFEECR的博客
11-09 1700
SQLite是一个轻量级的数据库，Python擅长于数据分析处理，用Python进行SQLite的数据库操作很方便，常用的编程技巧有插入单行多行数据、判断sqlite某个表是否存在并创建、列出所有的表和索引、避免重复插入数据、游标的使用方法、数据库连接对象、使用游标查询数据库、判断cursor的结果是否为空等。
python数据库编程
墨竹
10-10 2072
1、mysql的安装 www.mysql.com/downloads/2、python的安装 https://www.python.org/3、MySQL_python-1.2.5-cp27-none-win_amd64.whl，mysqlclient-1.3.8-cp27-cp27m-win_amd64.whl 的安装 （1）下载两个文件 （2）使用pip install MySQL_py
python爬虫进阶
08-30
Python爬虫进阶涉及到一些高级技术和技巧，以下是一些你可以学习和探索的主题： 1. 多线程和多进程：使用多线程或多进程可以提高爬虫的效率，同时处理多个请求或任务。 2. 使用代理：在爬取网页时，你可能会被网站封禁IP，使用代理可以轮流切换IP地址来规避封禁。 3. 反反爬虫策略：有些网站会采取一些手段防止爬虫，你需要学习如何识别和应对这些策略，比如验证码、页面解密等。 4. 使用Cookie和Session：有些网站会使用Cookie和Session来验证用户身份，你需要学习如何在爬虫中模拟登录和保持会话状态。 5. 使用数据库：将爬取到的数据存储到数据库中可以方便后续的数据分析和处理。 6. 使用框架和库：学习使用一些流行的爬虫框架和库，比如Scrapy、BeautifulSoup、Requests等，可以大大简化爬虫的开发和管理。 7. 高级数据解析和提取：学习使用正则表达式、XPath、CSS选择器等高级技术来解析和提取网页中的数据。 8. 动态网页爬取：学习使用Selenium等工具来爬取动态生成的网页内容，比如通过JavaScript异步加载的数据。 9. 分布式爬虫：学习如何构建分布式爬虫系统，可以提高爬取效率和可靠性。 10. 爬虫的合法性和道德问题：学习了解相关法律法规和伦理道德，确保你的爬虫行为合法合规。 这些都是Python爬虫进阶的一些方向，你可以根据自己的兴趣和需求选择学习的内容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

简时刻

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值