由于之前对于爬取下来的数据都是存入MongoDB中,想起来还没有尝试存入MySQL,于是将一篇简单的文章爬取下来,存入MySQL试试
这里用到的python模块是pymysql,因为MySQLdb之前已经停止维护
首先在cmd中连接MySQL并且创建一个数据库json
在图形化界面workbench中可以看到
接下来就要在pycharm中写代码了,在pycharm中导入pymysql后即可
#建立python与MySQL之间的连接
mysql = pymysql.connect(host="localhost",user="root",passwd="12138",db="json",charset="utf8")
#新建游标
cur = mysql.cursor()
#原生sql语句,创建一个名为jsondata的表,并在其中定义字段
sqlc = '''
create table if not exists jsondata(
typeid int(11) not null auto_increment primary key,
tagid varchar(20) not null,
title varchar(100) not null,
time varchar(20) not null,
content mediumtext not null)DEFAULT CHARSET=utf8;
'''
#执行语句
a = cur.execute(sqlc)
#提交任务
mysql.commit()
print 'success'
#sql,插入数据
sqla = '''
insert into jsondata(typeid,tagid,title,time,content)values(%s,%s,%s,%s,%s);
'''
#这里的data数据为列表,data[0]中存在的字典类型数据
b = cur.execute(sqla,(data[0]['typeid'],data[0]['tagid'],data[0]['title'],data[0]['time'],data[0]['content']))
mysql.commit()
cur.close()
mysql.close()
print 'success'
运行之后,先在cmd中看看有什么变化,使用json,并且查看table
再看看表中的数据
这就是之前定义的jsondata表,可是没有看到具体插入的数据
所以接下来看看workbench
可以见到数据成功存储到MySQL中了!
以上这篇python将类似json的数据存储到MySQL中的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们。
时间: 2019-07-10