2022-07-13 Python Object of type float32 is not JSON serializable

背景

Python 3.7.6中使用json.dumps(result)对数据转JSON数据出现错误：TypeError: Object of type float32 is not JSON serializable

print("result", result)
dumps = json.dumps(result)
print("dumps", dumps)

打印result的数据如下：

[{'index': 0, 'location': {'ltx': 139, 'lty': 161, 'rbx': 1684, 'rby': 778}, 'label': 'plane', 'confidence': 0.9631122946739197, 'ocr': [{'index': 0, 'label': '120', 'score': 0.8265708088874817, 'location': {'lt': [396.0, 434.0], 'rt': [457.0, 422.0], 'rb': [464.0, 459.0], 'lb': [403.0, 471.0]}}]}]

使用JSON工具转成JSON如下：

[
    {
        "confidence": 0.9631122946739197,
        "index": 0,
        "label": "plane",
        "location": {
            "ltx": 139,
            "lty": 161,
            "rbx": 1684,
            "rby": 778
        },
        "ocr": [
            {
                "index": 0,
                "label": "120",
                "location": {
                    "lb": [
                        403.0,
                        471.0
                    ],
                    "lt": [
                        396.0,
                        434.0
                    ],
                    "rb": [
                        464.0,
                        459.0
                    ],
                    "rt": [
                        457.0,
                        422.0
                    ]
                },
                "score": 0.8265708088874817
            }
        ]
    }
]

转换过程出现错误，所以后面的就没打印

原因

数据中存在的float32数据是numpy格式的数据，Python内置的float类型可以写入JSON中，但是numpy的float32类型数据不能写入JSON，所以应将numpy.float32类型数据转成Python.float类型数据

解决过程

查看网友的解决方案，有一个说在函数中使用str()函数将result转成字符串：

print("result", result)
dumps = json.dumps(str(result))
print("dumps", dumps)

这样代码确实可以运行，但是转换的结果却是整个字符串：

"[{'index': 0, 'location': {'ltx': 139, 'lty': 161, 'rbx': 1684, 'rby': 778}, 'label': 'plane', 'confidence': 0.9631122946739197, 'ocr': [{'index': 0, 'label': '120', 'score': 0.8265708088874817, 'location': {'lt': [396.0, 434.0], 'rt': [457.0, 422.0], 'rb': [464.0, 459.0], 'lb': [403.0, 471.0]}}]}]"

这种字符串在JSON数据2头加上了引号，把引号去掉确实是可以用，但是这种做法显得太low了，因此重新找其他办法

解决方案

作为一个程序员，上文的解决过程让我心里老难受了，虽然可以很快的应付过去，但是心里总过意不去，因此花了几个小时专门来研究了一下这个问题。

思路很简单，就是将numpy不能写到JSON中的数据类型转换成Python内置数据类型就行，比如笔者这里的数据类型是numpy.float32，很显然我需要将它转为python.float。

那么首先就是要确定numpy.float32能否转换为python.float，这个很容易验证，定义一个numpy.float32数据，然后使用python语法float(numpy.float32)做类型转换就可以了，并且通过下文代码可以发现，这2种数据类型是可以互相转换的。

但是有个问题就是这里测试的float数据很简单，如果出现精度很高的数据不知道会不会出现精度损失的问题，这个问题只是想让大家不要忽略这个问题，具体的操作还是得看业务，比如笔者这里的业务数据精度要求没有这么高，即使有精度损失也是可以忽略的。

import numpy as np

p1 = 0.1
print(type(p1))

p2 = np.float32(p1)
print(type(p2))

p3 = float(p2)
print(type(p3))

然后就是将业务中的数据进行转换了，笔者写了一个工具类，用来做这个操作。这个类基于笔者的数据内容解析了3种数据类型，numpy.float32、list、dict。很显然够用了，大家如果使用到这个类，可以根据自己的数据类型进行扩展。

import numpy as np

# 对numpy的数据类型进行转换
# 场景:numpy.float32类型不能写入JSON,需要转成Python的float类型
def convertNumpyDataType(data):
    if type(data) is list:
        return convertList(data)
    elif type(data) is dict:
        return convertDict(data)
    elif type(data) is np.float32:
        return convertFloat32(data)
    return data

def convertList(data):
    if type(data) is not list:
        return data

    temp = []
    for obj in data:
        temp.append(convertNumpyDataType(obj))

    return temp

def convertDict(data):
    temp = data.copy()
    if type(data) is not dict:
        return temp

    for key in data.keys():
        obj = data.get(key)
        temp.__setitem__(key, convertNumpyDataType(obj))

    return temp

def convertFloat32(data):
    return float(data)

使用场景

在做图像处理后得到数据结果，是一个list，需要将数据转JSON，因此出现本文问题，所以在转之前先将数据类型进行转换

result = detectionAndOcr(img)
print("result:",result)
result = NumpyDataTypeConvert.convertNumpyDataType(result)
print("result:",result)
dumps = json.dumps(result)
print("dumps:",dumps)

这3个打印的内容如下：

result: [{'index': 0, 'location': {'lt': {'x': 139, 'y': 161}, 'rb': {'x': 1684, 'y': 778}}, 'label': 'plane', 'confidence': 0.9631122946739197, 'ocr': [{'index': 0, 'label': '120', 'confidence': 0.8265708088874817, 'location': {'lt': {'x': 396.0, 'y': 434.0}, 'rt': {'x': 457.0, 'y': 422.0}, 'rb': {'x': 464.0, 'y': 459.0}, 'lb': {'x': 403.0, 'y': 471.0}}}]}]
result: [{'index': 0, 'location': {'lt': {'x': 139, 'y': 161}, 'rb': {'x': 1684, 'y': 778}}, 'label': 'plane', 'confidence': 0.9631122946739197, 'ocr': [{'index': 0, 'label': '120', 'confidence': 0.8265708088874817, 'location': {'lt': {'x': 396.0, 'y': 434.0}, 'rt': {'x': 457.0, 'y': 422.0}, 'rb': {'x': 464.0, 'y': 459.0}, 'lb': {'x': 403.0, 'y': 471.0}}}]}]
dumps: [{"index": 0, "location": {"lt": {"x": 139, "y": 161}, "rb": {"x": 1684, "y": 778}}, "label": "plane", "confidence": 0.9631122946739197, "ocr": [{"index": 0, "label": "120", "confidence": 0.8265708088874817, "location": {"lt": {"x": 396.0, "y": 434.0}, "rt": {"x": 457.0, "y": 422.0}, "rb": {"x": 464.0, "y": 459.0}, "lb": {"x": 403.0, "y": 471.0}}}]}]

最后的结果能看出来数据转换是可以行的。

[
    {
        "confidence": 0.9631122946739197,
        "index": 0,
        "label": "plane",
        "location": {
            "lt": {
                "x": 139,
                "y": 161
            },
            "rb": {
                "x": 1684,
                "y": 778
            }
        },
        "ocr": [
            {
                "confidence": 0.8265708088874817,
                "index": 0,
                "label": "120",
                "location": {
                    "lb": {
                        "x": 403.0,
                        "y": 471.0
                    },
                    "lt": {
                        "x": 396.0,
                        "y": 434.0
                    },
                    "rb": {
                        "x": 464.0,
                        "y": 459.0
                    },
                    "rt": {
                        "x": 457.0,
                        "y": 422.0
                    }
                }
            }
        ]
    }
]