07_TensorFlow2图像编解码大揭秘：让图片说‘变’就‘变’，魔法还是科技？

1. 图像的编码和解码

在实际应用中，图像数据源格式多种多样，如：png\jpg\bmp等，而神经网络训练模型所需的图像的数据格式为：图像字节数据或Base64编码数据等。基于此，将png\jpg\bmp等格式的图像转换为字节数据的过程称为图像编码，将字节数据的图像转换为png\jpg\bmp等格式图像的过程称为图像解码。

2. 图像编码

Tensorflow图像编码的过程如下图所示，分为3个过程：转换为字节数据、转为网络安全Base64数据、标准Base64数据。接下来对这三个过程一一解析。

2.1 转换为字节数据

通俗的讲，png\jpg\bmp等格式的图像转换为字节数据就是图像读取。tensorflow常用的图像读取函数为：tf.io.read_file和tf.io.gfile.

import tensorflow as tf
import os

# 获取当前工作目录
# print(os.getcwd())
image_path = "./images/tfos_logo.png"
image_bytes = tf.io.read_file(image_path)
print("图像字节数据：{}".format(image_bytes))

2.2 转为网络安全 Base64 编码

网络安全的base64编码数据使用“-”代替“+”，使用“_”代替“/”，以保证数据在网络传输过程中的正确性。

image_s64=tf.io.encode_base64(image_bytes)
image_s64=format(image_s64)[2:-1]
print("网络安全的Base64编码：{}".format(image_s64))

2.3 转为标准 Base64 编码

标准的Base64数据中的“+”和“/”在网络中会被转换为“%XX”格式，而“%”在数据存储时必须进行转换。因此，标准Base64编码与网络安全的Base64编码之间的相互转换就是替换其中的不同之处即可。但是，需要注意的一点是：标准的Base64编码的数据大小是4的整数倍，不足的部分需要像卷积网络中的padding一样，用“=”补齐，已达到4的整数倍。

image_b64 = list(image_s64)
image_b64_lis = []
for i in range(len(image_b64)):
# - 替换为+
    if image_b64[i] == "-":
        image_b64_lis.append("+")
    elif image_b64[i] == "_":    # _替换为/
        image_b64_lis.append("/")
    else:
        image_b64_lis.append(image_b64[i])
# 不足4倍数的使用=填充
if len(image_b64_lis) % 4 == 0:
    pass
else:
    remainder = len(image_b64_lis) % 4
    for j in range(remainder):
        image_b64_lis.append("=")
image_b64 = "".join(image_b64_lis)
print("标准Base64编码：{}".format(image_b64))

3. 图像解码

Tensorflow中图像解码的过程与图像编码的格式正好相反，如图所示。

在Tensorflow中，图像数据处理是基于图像矩阵数据进行的，因此解码过程需要将字节数据转换为矩阵数据。

3.1 标准 Base64 解码转网络安全 Base64 数据

import tensorboard
import tensorflow as tf
import base64
from tensorflow.keras import Sequential, layers, losses, optimizers, datasets
import datetime
import matplotlib.pyplot as plt

#
image_path= "./images/tfos_logo.png"
with open(image_path,"rb")as f:
    image_data = f.read()
    # 图像文件编码为标准base64字节
    image_standard_b64_bytes = base64.b64encode(image_data)
    # 标准base64字节转换为字符串
    image_standard_b64_str = image_standard_b64_bytes.decode("utf8")
    # 标准base64字符串转为列表
    standard_b64_list = list(image_standard_b64_str)
    # 网络安全base64编码列表
    websafe_b64_list = []
    for i in range(len(standard_b64_list)):
        # /替换为_
        if standard_b64_list[i] == "/":
            websafe_b64_list.append("_")
        # +替换为-
        elif standard_b64_list[i] == "+":
            websafe_b64_list.append("-")
        # 剔除=
        elif standard_b64_list[i] == "=":
            break
        else:
            websafe_b64_list.append(standard_b64_list[i])
    # 网络安全base64列表转为字符串
    websafe_b64_str = "".join(websafe_b64_list)
web_b64_tensor = tf.convert_to_tensor(websafe_b64_str)
web_b64_decode = tf.io.decode_base64(web_b64_tensor)
image_matrix = tf.io.decode_image(web_b64_decode)
plt.imshow(image_matrix)
plt.show()

3.2 网络安全的 Base64 编码解码

import tensorflow as tf
import matplotlib.pyplot as plt
image_path="./images/tfos_logo.png"
# 图像读取
image_bytes = tf.io.read_file(image_path)
image_b64 = tf.io.encode_base64(image_bytes)
image_b64 = tf.io.decode_base64(image_b64)
image_matrix = tf.io.decode_image(image_b64)
plt.imshow(image_matrix)
plt.show()