MYSQL里的type为JSON嵌套list如果输出字段名

已于 2023-09-05 12:53:36 修改
阅读量146 收藏
点赞数
文章标签： mysql json list
于 2023-08-30 18:40:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Adore_rui/article/details/132588517
版权 
import pandas as pd
import pymysql
import json

conn = pymysql.connect(
  
)

#读取ht_contract_party表
sql = 'select * from ht_contract_party'
df = pd.read_sql(sql,conn)

sql = 'select * from ht_contract_party'
df = pd.read_sql(sql,conn)
data_json = df.iloc[0]['json']
list_keys = list(json.loads(data_json).keys())


# 展开key
def get_full_dict_list(df):  # df存储了一个ht_contract_party二维表
    # 空列表，用来储存key
    list_keys_all = []
    for i in range(len(df)):
        # 读取行记录中的json
        data_json = json.loads(df.iloc[i]['json'])  # 从df的第i行的json列中提取JSON格式的字符串，将其解析为 Python 字典
        list_keys = list(data_json.keys())  # 将python字典里的key存入list_keys
        # 循环遍历key
        for k in list_keys:
            # 判断，如果key在列表中，跳过，没有的话加入
            if k not in list_keys_all:
                list_keys_all.append(k)
            # 嵌套展开，如果嵌套为json(字典)，展开，用一级加下划线加二级命名
            if type(data_json[k]) == dict:
                list_sub_keys = list(data_json[k].keys()) #将字典 data_json[k] 的所有键提取出来，并将它们转换为一个列表
                for sk in list_sub_keys:
                    sub_key_full_name = k + '_' + sk
                    if sub_key_full_name not in list_keys_all:
                        list_keys_all.append(sub_key_full_name)
            elif type(data_json[k]) == list:
                for contact in data_json[k]:
                    for ck, cv in contact.items():
                        sub_key_full_name = k + '_' + ck
                        if sub_key_full_name not in list_keys_all:
                            list_keys_all.append(sub_key_full_name)


    return (list_keys_all)

9.4上午更新 

import pandas as pd
import pymysql
import json
import openpyxl as xl

conn = pymysql.connect(
  
)

# 读取ht_contract_party表
sql = 'select * from ht_contract'
df = pd.read_sql(sql, conn)

# 展开key
def get_full_dict_list(df, max_levels=5):
    # 空列表，用来储存key
    list_keys_all = []
    list_keys=[]
    for i in range(len(df)):
        # 读取行记录中的json
        try:
            data_json = json.loads(df.iloc[i]['json'])  # 从df的第i行的json列中提取JSON格式的字符串，将其解析为 Python 字典
            if isinstance(data_json, dict):
                list_keys = list(data_json.keys()) # 将python字典里的key存入list_keys
                print(f"字典类型：{data_json}")
            elif isinstance(data_json, str):
                print(f"字符串类型:{data_json}")
        except json.JSONDecodeError as e:
            print(f"JSON 解析错误: {e}")
            continue
        # 循环遍历key
        for k in list_keys:
            # 判断，如果key在列表中，跳过，没有的话加入
            if k not in list_keys_all:
                list_keys_all.append(k)
            # 嵌套展开，如果嵌套为json(字典)，展开，用一级加下划线加二级命名
            if type(data_json[k]) == dict and max_levels > 0:
                list_sub_keys = list(data_json[k].keys())  # 将字典 data_json[k] 的所有键提取出来，并将它们转换为一个列表
                for sk in list_sub_keys:
                    sub_key_full_name = k + '_' + sk
                    if sub_key_full_name not in list_keys_all:
                        list_keys_all.append(sub_key_full_name)
                    # 递归处理更深层级
                    if max_levels > 1:
                        sub_data = data_json[k][sk]
                        sub_keys = get_full_dict_list(pd.DataFrame([{'json': json.dumps(sub_data)}]), max_levels - 1)
                        for sub_key in sub_keys:
                            full_sub_key = k + '_' + sk + '_' + sub_key
                            if full_sub_key not in list_keys_all:
                                list_keys_all.append(full_sub_key)
            elif type(data_json[k]) == list:
                for contact in data_json[k]:
                    for ck, cv in contact.items():
                        sub_key_full_name = k + '_' + ck
                        if sub_key_full_name not in list_keys_all:
                            list_keys_all.append(sub_key_full_name)
    return list_keys_all

9.4 15:30更新

import pandas as pd
import pymysql
import json
import openpyxl as xl

conn = pymysql.connect(
 
)

# 读取ht_contract_party表
sql = 'select * from ht_contract'
df = pd.read_sql(sql, conn)

# 展开key
def get_full_dict_list(df, max_levels=5):
    # 空列表，用来储存key
    list_keys_all = []
    list_keys=[]
    for i in range(len(df)):
        # 读取行记录中的json
        try:
            data_json = json.loads(df.iloc[i]['json'])  # 从df的第i行的json列中提取JSON格式的字符串，将其解析为 Python 字典
            if isinstance(data_json, dict):
                list_keys = list(data_json.keys()) # 将python字典里的key存入list_keys
                # print(f"字典类型：{data_json}")
            elif isinstance(data_json, str):
                continue
                # print(f"字符串类型:{data_json}")
        except json.JSONDecodeError as e:
            print(f"JSON 解析错误: {e}")
            continue
        # 循环遍历key
        for k in list_keys:
            # 判断，如果key在列表中，跳过，没有的话加入
            if k not in list_keys_all:
                list_keys_all.append(k)
            # 嵌套展开，如果嵌套为json(字典)，展开，用一级加下划线加二级命名
            if type(data_json[k]) == dict and max_levels > 0:
                list_sub_keys = list(data_json[k].keys())  # 将字典 data_json[k] 的所有键提取出来，并将它们转换为一个列表
                for sk in list_sub_keys:
                    sub_key_full_name = k + '_' + sk
                    if sub_key_full_name not in list_keys_all:
                        list_keys_all.append(sub_key_full_name)
                    # 递归处理更深层级
                    if max_levels > 1:
                        sub_data = data_json[k][sk]
                        sub_keys = get_full_dict_list(pd.DataFrame([{'json': json.dumps(sub_data)}]), max_levels - 1)
                        for sub_key in sub_keys:
                            full_sub_key = k + '_' + sk + '_' + sub_key
                            if full_sub_key not in list_keys_all:
                                list_keys_all.append(full_sub_key)
            elif type(data_json[k]) == list:
                for contact in data_json[k]:
                    for ck, cv in contact.items():
                        sub_key_full_name = k + '_' + ck
                        if sub_key_full_name not in list_keys_all:
                            list_keys_all.append(sub_key_full_name)
    return list_keys_all


# 按顺序获取最大长度和类型
def get_max_length(df, list_keys_all):
    list_max_length = []
    list_types = []
    for list_key in list_keys_all:
        max_len = 0
        list_type_key = set()
        if '_' in list_key and list_key[0] != '_':
            keys = list_key.split('_')
            key = keys[0]
            sub_key = '_'.join(keys[1:])
            for js in range(len(df)):
                data_json = json.loads(df.iloc[js]['json'])
                try:
                    if data_json[key] is not None and sub_key in data_json[key]:
                        value = data_json[key][sub_key]
                    else:
                        value = None  # 或者设置为默认值
                    length = len(str(value))
                    value_type = str(type(value))[8:-2]
                    list_type_key.add(value_type)
                except KeyError:
                    value = None  # 没有找到子键，可以设置为默认值
                    length = 0
                if length > max_len:
                    max_len = length
        else:
            key = list_key  # 没有下划线的键，将其作为子键
            for js in range(len(df)):
                data_json = json.loads(df.iloc[js]['json'])
                try:
                    if data_json[key] is not None:
                        value = data_json[key]
                    else:
                        value = None  # 或者设置为默认值
                    length = len(str(value))
                    value_type = str(type(value))[8:-2]
                    list_type_key.add(value_type)
                except KeyError:
                    value = None  # 没有找到键，可以设置为默认值
                    length = 0
                if length > max_len:
                    max_len = length
        list_max_length.append(max_len)
        list_types.append(list(list_type_key))

    return list_max_length, list_types


list_keys_all = get_full_dict_list(df, max_levels=5)
results = get_max_length(df,list_keys_all)

df_result = pd.DataFrame(columns=['key','length','type'])

df_result['key'] = list_keys_all
df_result['length'] = results[0]
df_result['type'] = results[1]


print(df_result)

9.4号16:37更新

import pandas as pd
import pymysql
import json
import openpyxl as xl

conn = pymysql.connect(
)

# 读取ht_contract_party表
sql = 'select * from ht_contract'
df = pd.read_sql(sql, conn)

# 展开key
def get_full_dict_list(df, max_levels=5):
    # 空列表，用来储存key
    list_keys_all = []
    list_keys=[]
    list_max_length=[]
    list_type=set()
    for i in range(len(df)):
        max_length=0
        # 读取行记录中的json
        try:
            data_json = json.loads(df.iloc[i]['json'])  # 从df的第i行的json列中提取JSON格式的字符串，将其解析为 Python 字典
            if isinstance(data_json, dict):
                list_keys = list(data_json.keys()) # 将python字典里的key存入list_keys
                # print(f"字典类型：{data_json}")
            elif isinstance(data_json, str):
                continue
                # print(f"字符串类型:{data_json}")
            length = len(str(value))
            value_type=str(type(data_json))[8:-2]
            list_type.add(value_type)
        except json.JSONDecodeError as e:
            print(f"JSON 解析错误: {e}")
            continue
        if length>max_length:
            max_length=length
        list_max_length.append(max_length)
        # 循环遍历key
        for k in list_keys:
            # 判断，如果key在列表中，跳过，没有的话加入
            if k not in list_keys_all:
                list_keys_all.append(k)
            # 嵌套展开，如果嵌套为json(字典)，展开，用一级加下划线加二级命名
            if type(data_json[k]) == dict and max_levels > 0:
                list_sub_keys = list(data_json[k].keys())  # 将字典 data_json[k] 的所有键提取出来，并将它们转换为一个列表
                for sk in list_sub_keys:
                    sub_key_full_name = k + '_' + sk
                    if sub_key_full_name not in list_keys_all:
                        list_keys_all.append(sub_key_full_name)
                    length = len(str(data_json[k]))
                    value_type = str(type(data_json[k]))[8:-2]
                    list_type.add(value_type)
                    if length > max_length:
                        max_length = length
                    list_max_length.append(max_length)
                    # 递归处理更深层级
                    if max_levels > 1:
                        sub_data = data_json[k][sk]
                        sub_keys = get_full_dict_list(pd.DataFrame([{'json': json.dumps(sub_data)}]), max_levels - 1)
                        for sub_key in sub_keys:
                            full_sub_key = k + '_' + sk + '_' + sub_key
                            if full_sub_key not in list_keys_all:
                                list_keys_all.append(full_sub_key)
            elif type(data_json[k]) == list:
                for contact in data_json[k]:
                    for ck, cv in contact.items():
                        sub_key_full_name = k + '_' + ck
                        if sub_key_full_name not in list_keys_all:
                            list_keys_all.append(sub_key_full_name)
    return list_keys_all

df_result['key'] = list_keys_all
df_result['length'] = results[0]
df_result['type'] = results[1]

print(df_result)

9.5 00:10

import pandas as pd
import pymysql
import json
import openpyxl as xl

# 连接到数据库
conn = pymysql.connect(
    host="192.168.65.86",
    user="root",
    password="jRz&nj%RmJ9fRj5SL",
    database="an_hetong"
)

cursor = conn.cursor()
cursor.execute("SHOW TABLES")
tables = [table[0] for table in cursor.fetchall()]


# 展开key
def get_full_dict_list(data_json, table, parent_key='', max_levels=5):
    max_levels = int(max_levels)  # 确保 max_levels 是整数
    for k, v in data_json.items():
        # 排除数字键
        if isinstance(k, int):
            continue
        current_key = f"{parent_key}_{k}" if parent_key else k
        if current_key in processed_keys:
            continue
        key_info = {
            'table': table,
            'key': current_key,
            'length': len(str(v)),
            'type': str(type(v))[8:-2]
        }
        key_info_list.append(key_info)
        processed_keys.add(current_key)  # 将处理过的键添加到集合中

        if isinstance(v, dict) and max_levels > 0:
            get_full_dict_list(v, table, current_key, max_levels - 1)
        elif isinstance(v, list) and max_levels > 0:
            for item in v:
                if isinstance(item, dict):
                    get_full_dict_list(item, table, current_key, max_levels - 1)
    # 将键的信息存储到 DataFrame
    df_info = pd.DataFrame(key_info_list)
    df_info.to_excel("key_info.xlsx", index=False)

for table in tables:
    # 检查表格是否包含'json'列
    cursor.execute(f"DESCRIBE {table}")
    columns = [column[0] for column in cursor.fetchall()]
    if 'json' not in columns:
        print(f"表格 {table} 不包含 'json' 列，跳过处理。")
        continue

    sql = f'select * from {table}'
    df = pd.read_sql(sql, conn)
    # 尝试获取表名，如果DataFrame为空则使用table变量
    table_name = df.columns[0].split("_")[0] if not df.empty else table

    # 用于存储每个键的信息的字典
    key_info_list = []
    # 已经处理过的 key 集合
    processed_keys = set()
    # 循环遍历DataFrame中的每一行
    for i in range(len(df)):
        try:
            data_json = json.loads(df.iloc[i]['json'])
            get_full_dict_list(data_json, table, max_levels=5)  # 传递 max_levels=5
        except Exception as e:
            print(f"处理表格 {table} 时发生错误: {e}")

Adore_rui
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
json mysql 字段 默认值_MySQL中的JSON类型
weixin_39683021的博客
12-23 3453
前言(废话)昨天抽了点时间在网上搜列了一个开源项目，项目挺完整的，前后台分离还带有微信小程序，我Clone下代码，经过一番倒腾，嘿~还真就跑起来了。在这个过程中，体验了一把VUE项目工程细节，因为之前没有接触过这一块，所以还是花费了点时间，好在开源项目的QQ群里楼主帮忙看了一下，才得以顺利往后进行。后来也有很多网友向楼主提问，也抛出了一些问题，其中有个问题到引起了我的注意。有个小伙伴执行SQL的时...
MySQL JSON类型字段操作
Muscleape的博客
04-20 823
MySQL中JSON类型字段的操作
mysql操作list的json
qq_43172064的博客
05-09 739
方法一： 精确匹配 SELECT * FROM `t_prop_unit` tp WHERE JSON_CONTAINS(c_unit_leader,json_object('name','测试')) 方法二： 模糊匹配 SELECT * FROM `t_prop_unit` tp WHERE json_extract(c_unit_leader,"$[*].name") like '%测试%'
Mysql JSON对象和JSON数组查询
wnfff的博客
08-03 2万+
Mysql JSON查询
MySQL对JSON数据进行IN查询
yuxiangmitu的博客
04-27 3760
1.请根据具体业务情况替换代码的中文注释，并确认存储数据符合JSON格式。 2.MySQL5.7以下版本不支持JSON相关函数，如需按照单一条件模糊查询，可以用 INSTR(要搜索的字符串,子字符串) 函数。 3.JSON_VALID用于判断字段是否包含JSON格式数据，不包含数据时，若不使用该函数直接查询会报"Invalid JSON text in argument 1 to function json_extract"错误。 4.JSON_UNQUOTE用于去除查询结果的双引号，也可用REPLA
MySQL学习笔记：JSON嵌套数组查询
山鬼谣的专栏
06-07 6344
MySQL 5.7简单JSON串就不说了，很简单，来个复杂点的： 在MySQL数据库中，它长这个样子：网上很多都是先对象，然后再嵌套数组，但是我的数据先是个数组，然后嵌套对象，然后再嵌套数组。这种情况下，该如何查询呢？现在想查询，JSON串中城市字段是上海的。............
MYSQL存储过程处理JSON中LIST数据
qq_43559922的博客
04-26 741
项目中某个需求变更，导致JSON数据格式的字段中包含的LIST数据中的某个KEY值，需要批量从double类型变更string类型。
MySQL 嵌套JSON解析
α-geek的专栏
06-27 2万+
MySQL自5.7之后开始支持json类型，相应的解析函数主要是json_extract()。 查询MySQL版本 select version() 示例 示例json1 未经过转义的json串 {"l1":{"l1_1":["l1_1_1","l1_1_2"],"l1_2":{"l1_2_1":121,"l1_2_2":"122"}},"l2":{"l2_1":null,"l2_2":true,...
mysql5.7 新增的json字段类型用法实例分析
09-08
主要介绍了mysql5.7 新增的json字段类型用法,结合实例形式分析了mysql5.7 新增的json字段类型具体功能、使用方法及操作注意事项,需要的朋友可以参考下
mysql查询字段类型为json时的两种查询方式
09-09
本篇文章将详细讲解当MySQL中的字段类型为JSON时，如何进行有效的查询。 首先，我们需要了解MySQL支持的两种查询JSON字段的方法： 1. **JSON_EXTRACT 函数** JSON_EXTRACT函数用于从JSON对象中提取指定路径的值。...
PHP连接MySQL数据库并以json格式输出
12-20
为了避免在JSON输出中出现冗余，我们需要使用`unset()`函数删除数字索引，只保留字段名-值对。这样，JSON编码后的数据更简洁且易于解析。 总之，PHP连接MySQL数据库并以JSON格式输出数据是一个常见的任务，对于构建...
mysql5.6及以下版本如何查询数据库里的json
09-09
假设我们有一个名为`table`的表，其中`content`字段包含JSON数据，我们想找到`actid`为`123456789`的记录，可以使用以下查询语句： 对于5.7版本： ```sql SELECT * FROM table WHERE content->'$.actid' LIKE '%...
mysql5.7+json多层数据查询
强本强见闻
03-21 800
需要将couponList->couponInfo->gameInfo->outOrderId数据拿出来。带引号的数据继续访问下层数据是不行的，所以一定要用->>获取数据。->查询会范围引号，->>返回值不会有引号。
MySQL的Json类型字段IN查询分组和优化方法
m0_71777195的博客
08-19 406
数据表主要存储来自客户端的请求信息，如客户端标识，接口名，渠道，来源，IP，入参等等。而场景是需要对某个页面下某个物品的请求总数和请求用户数，也就是要将访问数和访问用户数作为字段字段方式拼接到物品上。到这里可能很多人会说，在指定页埋点计数式更新物品两个字段就可以了，干嘛这么麻烦去明细表里统计。如此的做法，就真的是因为懒，毕竟有时功能不是很重要就没必要为此多创建一张与库里有重叠性质的表，下次去掉这部分时，多一张给后来者新增一份负担，看着没用的表又不敢删。
mysql 查询json深层的数组
qq_27487739的博客
07-06 406
对于类似于您提供的示例的情况，使用JSON路径表达式更为合适。函数返回的是一个JSON数组的字符串表示，您可以使用适当的函数对结果进行解析和处理。如果您希望在MySQL中查询JSON深层的数组，可以使用JSON提取函数和表达式。函数和适当的JSON路径表达式来查询深层嵌套的数组。您可以根据需要调整JSON路径表达式来查询不同层级的深层数组。列中的每个"c"元素是否包含字符串"5"，并返回满足条件的行。运算符在MySQL中进行类似于文本模式匹配的查询，您可以结合。要查询嵌套在深层的数组，可以使用多个。
MySQL遇上JSON 一文处理Mysql中的JSON数据 Mysql如何处理嵌套的JSON结构
赵KK的博客
04-26 1079
在这篇文章中，我们探讨了MySQL中JSON数据类型的增删改查操作，以及它们的运行原理和应用场景。JSON数据类型为数据库设计带来了新的灵活性和可能性，作为一名Java架构师，掌握这些技能将极大地提升你的技术实力。
mysql中添加字段
热门推荐
m0_54850467的博客
09-11 4万+
深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
用MySQL操作json格式的数据列
ITdogg的博客
08-18 1050
MySQL中处理json格式的数据进行展示
mysql高阶语句
最新发布
qq_59169480的博客
07-24 922
高级语法的查询语句。
mysql json取消嵌套mysql json取消嵌套
06-30
MySQL中的JSON数据类型支持对嵌套结构进行操作，包括取消嵌套。当你想要提取或修改JSON对象中的某个层次的数据而不需要整个对象的完整嵌套时，可以使用JSON_EXTRACT和JSON_SET等函数。 1. **JSON_EXTRACT()函数**：这个函数用于从JSON对象中提取特定路径的值。例如，如果你有一个嵌套的JSON对象`json_data = '{"name": {"first": "John", "last": "Doe"}, "age": 30}`，你可以用`JSON_EXTRACT(json_data, '$.name.first')`来获取"John"。 2. **JSON_SET()函数**：这个函数用于设置或替换JSON对象中的某个键值对。如果你想取消嵌套，可以先提取父级键，然后用新的值替换。比如，`JSON_SET(json_data, '$.name', '{"first": "NewFirst", "last": "NewLast"}')`会取消嵌套并更新"first"和"last"字段。 在实际操作中，记得给路径提供一个合适的JSON路径，它是一个点分隔的字符串，表示从根节点到目标字段的序列。如果需要完全删除某个嵌套结构，可以先使用`JSON_EXTRACT`取出父节点，然后用`NULL`替换，这样就实现了取消嵌套。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值