python里面将接口返回的json格式数据写入到数据库的两种方案及其局限性

概要

方案一:
使用MySQLdb或pymysql等Python MySQL数据库连接库将数据插入到MySQL数据库

方案二:
使用pandas库将JSON数据转换为DataFrame对象,然后使用to_sql()方法将数据存入MySQL数据库**

方案一详解:

适用的场景

对整体的数据格式支持自定义处理,能处理较为复杂的数据格式

首先,我们使用json.load()函数将"data.json"文件中的JSON数据解析为Python对象。然后,我们使用pymysql库连接到MySQL数据库,并使用循环插入数据到数据库表中。在这个例子中,我们假设数据是一个列表,每个元素都是一个包含"name"、"age"和"city"字段的字典。您需要根据您的数据结构来调整代码。

import json
import pymysql

# 解析JSON数据
with open("data.json", "r") as f:
    data = json.load(f)

# 连接MySQL数据库
conn = pymysql.connect(host="localhost", user="your_username", password="your_password", database="your_database")

# 插入数据
cursor = conn.cursor()
for record in data:
    name = record["name"]
    age = record["age"]
    city = record["city"]
    cursor.execute("INSERT INTO your_table (name, age, city) VALUES (%s, %s, %s)", (name, age, city))

# 提交更改并关闭连接
conn.commit()
cursor.close()
conn.close()

方案二详解:

适用的场景

对整体的数据格式无特别的需求,比如json数据里面无字典、列表等特殊的数据格式,使用该方案处理更为方便、快捷

首先,我们使用json.load()函数将"data.json"文件中的JSON数据解析为Python对象。然后,我们使用pandas库将数据转换为DataFrame对象。最后,我们使用SQLAlchemy库连接到MySQL数据库,并使用DataFrame对象的to_sql()方法将数据存入数据库表中。

这种方法不仅简单,而且还能够自动处理数据类型和索引等问题。您可以根据需要调整参数,例如更改if_exists参数的值以指定数据插入方式(“replace”、“append"或"fail”)

import json
import pandas as pd
from sqlalchemy import create_engine

# 解析JSON数据
with open("data.json", "r") as f:
    data = json.load(f)

# 转换为DataFrame对象
df = pd.DataFrame(data)

# 连接MySQL数据库
engine = create_engine("mysql+pymysql://{user}:{password}@{host}/{database}".format(
    host="localhost",
    user="your_username",
    password="your_password",
    database="your_database"
))

# 存入数据库
df.to_sql(name='your_table', con=engine, if_exists='replace', index=False)

优势

方便快捷,无需创建数据库表,也需要对单个字段做推送

局限性

场景一:从api接口里面获取过来的数据同时存在:字符串和字典格式的数据,也就是字典里面嵌套字典,如下数据格式:

{objectId': '7917a4cc-ac9f-4cfc-8d85-a92a15468e1d', 'customProperties': None, 'translateProperties': {'xxModifiedByText': '任文轩(renwenxuan608029@xx.com)', 'StdIsDeletedText': '', 'IsVirtualOrgText': '', 'BroadTypeText': '机构', 'ModifiedByText': '任文轩(renwenxuan608029@xx.com)', 'IsCurrentRecordText': '', 'POIdOrgAdmin_TreePathText': 'xx', 'IsLegalCompanyText': '', 'POIdOrgAdminNameTreePathText': 'xx', 'IsDeletedText': '', 'StatusText': '启用', 'CreatedByText': '系统(Administrator@beisen.com)'}, 'createdBy': 10000, 'createdTime': '2023-04-21T14:41:58'}

此时,没有经过处理的数据,是无法写入数据库。
推荐的处理方案:
思路1【已验证可行】:从DataFrame里面将字典的列过滤掉(前提是该列无重要的信息),如实例数据里面的:translateProperties 列
处理代码:

df.drop(columns=['translateProperties'], inplace=True)

思路2【暂未通过】:将该列由字典列,通过函数将其转为字符串,然后存入系统中:df.astype(‘str’)
不知道是代码的问题,还是其他的问题,暂时没有转换成功

  • 3
    点赞
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 可以使用 Pythonjson 和 pymysql 库来实现解析 json 数据写入到 MySQL 数据库中。 首先,需要安装 pymysql 库,可以使用以下命令进行安装: ``` pip install pymysql ``` 接着,假设我们有一个名为 data.jsonjson 数据文件,其中包含了一些用户信息,如下所示: ``` { "users": [ { "name": "Alice", "age": 25, "email": "alice@example.com" }, { "name": "Bob", "age": 30, "email": "bob@example.com" }, { "name": "Charlie", "age": 35, "email": "charlie@example.com" } ] } ``` 我们可以使用以下代码将其中的用户信息写入到 MySQL 数据库中: ```python import json import pymysql # 读取 json 文件 with open('data.json', 'r') as f: data = json.load(f) # 连接 MySQL 数据库 connection = pymysql.connect(host='localhost', user='root', password='password', database='test') # 获取游标 cursor = connection.cursor() # 遍历用户信息并插入到数据库中 for user in data['users']: name = user['name'] age = user['age'] email = user['email'] sql = f"INSERT INTO users (name, age, email) VALUES ('{name}', {age}, '{email}')" cursor.execute(sql) # 提交事务并关闭连接 connection.commit() connection.close() ``` 在上面的代码中,我们首先使用 json.load() 函数读取 json 文件中的数据,然后使用 pymysql.connect() 函数连接到 MySQL 数据库,接着使用 cursor.execute() 函数执行插入语句将用户信息插入到数据库中,最后使用 connection.commit() 函数提交事务并关闭连接。 需要注意的是,上述代码中使用了字符串插值来构造 SQL 语句,这种方式存在 SQL 注入的风险,应该避免直接使用用户输入的数据来构造 SQL 语句。更加安全的方式是使用参数化查询,如下所示: ```python # 使用参数化查询插入数据 sql = "INSERT INTO users (name, age, email) VALUES (%s, %s, %s)" values = [(user['name'], user['age'], user['email']) for user in data['users']] cursor.executemany(sql, values) ``` ### 回答2: Python可以使用内置的json库来解析json数据,并且可以使用第三方库如`pymysql`来连接和操作MySQL数据库。 首先,我们需要安装`pymysql`库,可以使用以下命令进行安装: ``` pip install pymysql ``` 然后,我们需要导入以下库: ```python import json import pymysql ``` 接下来,我们假设已经有一个名为`data.json`的json文件,其中包含要写入MySQL数据库数据。我们可以使用以下代码来解析json数据: ```python with open('data.json', 'r') as file: data = json.load(file) ``` 然后,我们需要连接到MySQL数据库。假设MySQL数据库位于本地,并具有以下凭据:主机名为`localhost`,用户名为`root`,密码为`password`,数据库名为`mydatabase`。我们可以使用以下代码连接到数据库: ```python connection = pymysql.connect(host='localhost', user='root', password='password', db='mydatabase', charset='utf8mb4', cursorclass=pymysql.cursors.DictCursor) ``` 接下来,我们可以插入数据数据库中。假设我们要将数据插入名为`mytable`的表中。我们可以使用以下代码来实现: ```python with connection.cursor() as cursor: for item in data: # 根据数据结构进行修改 sql = "INSERT INTO mytable (column1, column2, column3) VALUES (%s, %s, %s)" cursor.execute(sql, (item['value1'], item['value2'], item['value3'])) connection.commit() ``` 最后,我们需要关闭数据库连接: ```python connection.close() ``` 以上就是使用Python解析json数据写入MySQL数据库的基本步骤。请根据实际情况修改代码中的数据结构和表名。 ### 回答3: Python解析JSON数据并将其写入MySQL数据库的过程如下: 首先,我们需要导入必要的库:`json`和`mysql.connector`。 接下来,我们打开JSON文件并将其读取为一个字符串。可以使用内置的`open()`函数打开文件,并使用`.read()`方法读取文件内容。得到的结果是一个包含整个JSON数据的字符串。 然后,将字符串解析为JSON对象。使用`json.loads()`函数将字符串作为参数,返回一个JSON对象。这个JSON对象可以像字典一样访问和操作。 接下来,连接到MySQL数据库。使用`mysql.connector.connect()`函数建立与MySQL数据库的连接。需要提供正确的主机名、用户名、密码和数据库名称。 然后,创建一个游标对象。使用连接对象的`cursor()`方法创建一个游标对象。这个游标对象用于执行SQL语句和操作数据库。 接下来,创建一个INSERT查询。将JSON对象中的数据提取出来,并使用`INSERT INTO`语句插入到表中。确保使用正确的表名和列名。 然后,执行INSERT查询。使用游标对象的`execute()`方法执行INSERT查询。 接下来,提交更改。使用连接对象的`commit()`方法提交更改,以保存对数据库的更新。 最后,关闭连接。使用连接对象的`close()`方法关闭与数据库的连接。 在代码的最后,你可以选择将所有的步骤封装在一个函数中,以便更方便地重用和调用。 这就是使用Python解析JSON数据并将其写入MySQL数据库的基本过程。希望对你有所帮助!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值