python3将本地JSON数据文件（大文件）写入MySQL数据库

最新推荐文章于 2024-08-05 14:36:53 发布

layman2016

最新推荐文章于 2024-08-05 14:36:53 发布

阅读量9.1k

点赞数 2

分类专栏： MySQL数据库问题文章标签： python mysql 数据库 json 本地文件写入数据库

本文链接：https://blog.csdn.net/layman2016/article/details/79252499

版权

本文介绍如何使用Python3的pymysql库处理大容量JSON数据，并逐行读取避免内存溢出，将数据高效地导入到MySQL数据库中。针对3.55GB的Yelp评论数据，通过此方法可以确保数据安全存储，避免CSV或TXT文件的字符错误问题。

摘要由CSDN通过智能技术生成

最近导师给了一个yelp上的评论数据，数据量达到3.55个G，如果进行分析时直接使用本地文件，选择python来分析，那么效率是非常低的；另一方面使用SQL来储存文本文件最为安全，之前使用CSV，txt存储的文本文件最后莫名其妙地出现一些奇怪字符，导致读取数据分割时出现错乱。下面给出一个简单的代码，将本地JSON文件内容存入数据库。

说明：python版本为3.5，使用第三方库为pymysql。因为数据量比较大，不能一次性读取到内存（否则内存报错），这里使用逐行读取的方式。数据库先创建后再使用以下代码；

import json
import pymysql

# 读取review数据，并写入数据库
# 导入数据库成功，总共4736897条记录
def prem(db):
    cursor = db.cursor()
    cursor.execute("SELECT VERSION()")
    data = cursor.fetchone()
    print("Database version : %s " % data)  # 结果表明已经连接成功
    cursor.execute("DROP TABLE IF EXISTS review")  # 习惯性
    sql = """CREATE TABLE review (
             review_id  VARCHAR