python爬虫之数据存储(四):MySQL数据库

MySQL数据库操作

MySQL数据库安装:

  1. 下载地址:https://dev.mysql.com/downloads/windows/installer/5.7.0.html
  2. 如果提示没有.NET Framework框架。那么就在提示框中找到下载链接,下载一个就可以了。
  3. 如果提示没有Microsoft Virtual C++ x64(x86),那么百度或者谷歌这个软件安装即可。

Python连接MySQL数据库:

  1. pip install pymysql
  2. 连接代码:
    db = pymysql.connect(host="127.0.0.1",port=3306,user="root",password="root",database="csdn_crawler",charset='utf8')
    
    • host:以后在连接外网服务器的时候,就要改成外网服务器的ip地址。
    • port:在外网一般会更换端口号,不会为3306,这是为了安全考虑。
    • user:连接的用户,一般在生产环境中会单独分配一个账号给你,而不是使用root用户。
    • password:这个用户的密码。
    • database:要连接操作的数据库名。
    • charset:设置为utf8这样就能操作中文了。

插入数据:

title = '444'
content = '555'
sql = "insert into article(id,title,content) values(null,%s,%s)"
cursor.execute(sql,(title,content))

语法是:

insert into [表名(字段)] values(字段对应的值)

如果值是动态变化的,那么可以使用%s来先作为坑,后期在使用execute方法的时候,可以给一个元组把这些数据填进去。

查找数据:

sql = "select id,title from article where id>3"
cursor.execute(sql)

执行完sql语句后,可以使用以下三个方法来提取数据:

  1. fetcheone:提取第一条数据。
  2. fetchall:提取select语句获取到的所有数据。
  3. fetchmany:提取指定条数的数据。

删除数据:

语法:
delete from [表名] [条件]
示例:

sql = "delete from article where id>3"
cursor.execute(sql)

更新数据:

语法:
update [表名] [更新操作] [条件]
示例:

sql = "update article set title='钢铁是怎样练成的' where id=3"
cursor.execute(sql)
ticle set title='钢铁是怎样练成的' where id=3"
cursor.execute(sql)
  • 3
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Python爬虫中,异步MySQL存储与普通MySQL存储有一些区别。 1. 异步MySQL存储使用异步库:异步MySQL存储需要使用异步库(例如aiomysql)来实现与数据库的连接和操作。这允许在进行数据库操作时,同时执行其他的网络请求和任务,提高爬虫的效率和性能。而普通MySQL存储使用的是同步库(例如mysql-connector-python),它在执行数据库操作时会阻塞其他任务的执行。 2. 异步调度和并发处理:异步MySQL存储通过利用事件循环和协程的特性,可以实现并发处理多个数据库操作。这意味着在爬取数据的同时,可以进行多个数据库插入操作,提高了爬虫的效率。而普通MySQL存储一次只能处理一个数据库操作,无法同时进行多个操作。 3. 性能和效率:由于异步MySQL存储可以并发处理多个任务,因此在处理大量数据时,它通常比普通MySQL存储具有更好的性能和效率。异步MySQL存储可以充分利用系统资源,提高数据存储的速度。 4. 代码结构:异步MySQL存储需要使用异步编程的方式编写代码,包括使用`async`和`await`关键字来定义协程函数,并使用事件循环来调度和执行任务。而普通MySQL存储则可以使用传统的同步编程方式编写代码,不需要涉及协程和事件循环的概念。 总之,异步MySQL存储爬虫中可以提供更高的并发处理能力和性能优势,尤其在处理大量数据时表现更好。但是,它也需要一定的异步编程经验和对异步库的理解。如果对于性能要求不高或者对异步编程不熟悉,普通的MySQL存储也是一个可行的选择。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mercycrazy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值