java blob转为图片_学习教程 | 使用 TensorFlow Lite 在 Android App 中生成超分图片

最新推荐文章于 2023-12-29 17:01:53 发布
最新推荐文章于 2023-12-29 17:01:53 发布
阅读量387 收藏
点赞数
文章标签： java blob转为图片
5f15b9277d4f69bea7d1b3f785f0f694.gif

文 / 魏巍， TensorFlow 技术推广工程师

从一张低分辨率的图片生成一张对应的高分辨率图片的任务通常被称为单图超分 (Single Image Super Resolution - SISR)。尽管可以使用传统的插值方法(如双线性插值和双三次插值)来完成这个任务，但是产生的图片质量却经常差强人意。深度学习，尤其是对抗生成网络 GAN，已经被成功应用在超分任务上，比如 SRGAN 和 ESRGAN 都可以生成比较真实的超分图片。那么在本文里，我们将介绍一下如何使用TensorFlow Hub上的一个预训练的 ESRGAN 模型来在一个安卓 app 中生成超分图片。最终的 app 效果如下图，我们也已经将完整代码开源给大家参考。

0c9410166ae8744169d87ac20d4590a5.gif

  • SRGANhttps://arxiv.org/abs/1609.04802

  • ESRGANhttps://arxiv.org/abs/1809.00219

  • 完整代码https://github.com/tensorflow/examples/tree/master/lite/examples/super_resolution

首先，我们可以很方便的从 TFHub 上加载 ESRGAN 模型，然后很容易的将其转化为一个 TFLite 模型。注意在这里我们使用了动态范围量化 (dynamic range quantization)，并将输入图片的尺寸固定在50x50像素(我们已经将转化后的模型上传到 TFHub 上了)：

model = hub.load("https://tfhub.dev/captain-pool/esrgan-tf2/1")
concrete_func = model.signatures[tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY]
concrete_func.inputs[0].set_shape([1, 50, 50, 3])
converter = tf.lite.TFLiteConverter.from_concrete_functions([concrete_func])
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_model = converter.convert()

# Save the TF Lite model.
with tf.io.gfile.GFile('ESRGAN.tflite', 'wb') as f:
  f.write(tflite_model)

esrgan_model_path = './ESRGAN.tflite'

  • TFHubhttps://hub.tensorflow.google.cn/

  • TFHub(转化后模型)https://hub.tensorflow.google.cn/captain-pool/lite-model/esrgan-tf2/1

现在 TFLite 已经支持动态大小的输入，所以你也可以在模型转化的时候不指定输入图片的大小，而在运行的时候动态指定。如果你想使用动态输入大小，请参考这个例子。

  • 例子https://github.com/tensorflow/tensorflow/blob/c58c88b23122576fc99ecde988aab6041593809b/tensorflow/lite/python/lite_test.py#L529-L560

模型转化完之后，我们可以很快验证 ESRGAN 生成的超分图片质量确实比双三次插值要好很多。如果你想更多的了解 ESRGAN 模型，我们还有另外一个教程可供参考：

lr = cv2.imread(test_img_path)
lr = cv2.cvtColor(lr, cv2.COLOR_BGR2RGB)
lr = tf.expand_dims(lr, axis=0)
lr = tf.cast(lr, tf.float32)

# Load TFLite model and allocate tensors.
interpreter = tf.lite.Interpreter(model_path=esrgan_model_path)
interpreter.allocate_tensors()

# Get input and output tensors.
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

# Run the model
interpreter.set_tensor(input_details[0]['index'], lr)
interpreter.invoke()

# Extract the output and postprocess it
output_data = interpreter.get_tensor(output_details[0]['index'])
sr = tf.squeeze(output_data, axis=0)
sr = tf.clip_by_value(sr, 0, 255)
sr = tf.round(sr)
sr = tf.cast(sr, tf.uint8)

  • 教程https://tensorflow.google.cn/hub/tutorials/image_enhancing

60f982440af41fd1db7996348ce4dbe1.png

LR: 输入的低分辨率图片,该图从 DIV2K 数据集中的一张蝴蝶图片中切割出来. ESRGAN (x4): ESRGAN 模型生成的超分图片，单边分辨率提升4倍. Bicubic: 双三次插值生成图片. 在这里大家可以很容易看出来，双三次插值生成的图片要比 ESRGAN 模型生成的超分图片模糊很多

你可能已经知道，TensorFlow Lite 是 TensorFlow 用于在端侧运行的官方框架，目前全球已有超过40亿台设备在运行 TFLite，它可以运行在安卓，iOS，基于 Linux 的 IoT 设备以及微处理器上。你可以使用 Java, C/C++ 或其他编程语言来运行 TFLite。在这篇文章中，我们将使用 TFLite C API，因为有许多的开发者表示希望我们能提供这样一个范例。

  • DIV2K https://data.vision.ee.ethz.ch/cvl/DIV2K/

  • Java, C/C++ https://tensorflow.google.cn/lite/guide/android

  • TFLite C APIhttps://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/c/c_api.h

我们在预先编译好的 AAR 文件中包含了 TFLite C API需要的头文件和库 (包括核心库和 GPU 库)。为了正确的设置好 Android 项目，我们首先需要下载两个 JAR 文件并将相应的头文件和库抽取出来。我们可以在一个 download.gradle 文件中定义这些任务，然后将这些任务导入 build.gradle。下面我们先定义下载 TFLite JAR 文件的两个任务：

task downloadTFLiteAARFile() {
   download {
       src "https://bintray.com/google/tensorflow/download_file?file_path=org%2Ftensorflow%2Ftensorflow-lite%2F2.3.0%2Ftensorflow-lite-2.3.0.aar"
       dest "${project.rootDir}/libraries/tensorflow-lite-2.3.0.aar"
       overwrite false
       retries 5
   }
}


task downloadTFLiteGPUDelegateAARFile() {
   download {
       src "https://bintray.com/google/tensorflow/download_file?file_path=org%2Ftensorflow%2Ftensorflow-lite-gpu%2F2.3.0%2Ftensorflow-lite-gpu-2.3.0.aar"
       dest "${project.rootDir}/libraries/tensorflow-lite-gpu-2.3.0.aar"
       overwrite false
       retries 5
   }
}

  • AAR 文件https://tensorflow.google.cn/lite/guide/android#use_tflite_c_api

然后我们定义另一个任务来讲头文件和库解压然后放到正确的位置：

task fetchTFLiteLibs() {
copy {
from zipTree("${project.rootDir}/libraries/tensorflow-lite-2.3.0.aar")
into "${project.rootDir}/libraries/tensorflowlite/"
include "headers/tensorflow/lite/c/*h"
include "headers/tensorflow/lite/*h"
include "jni/**/libtensorflowlite_jni.so"
   }
copy {
from zipTree("${project.rootDir}/libraries/tensorflow-lite-gpu-2.3.0.aar")
into "${project.rootDir}/libraries/tensorflowlite-gpu/"
include "headers/tensorflow/lite/delegates/gpu/*h"
include "jni/**/libtensorflowlite_gpu_jni.so"
   }

因为我们是用安卓 NDK 来编译这个 app，我们需要让 Android Studio 知道如何处理对应的原生文件。我们在 CMakeList.txt 文件中这样写：

set(TFLITE_LIBPATH "${CMAKE_CURRENT_SOURCE_DIR}/../../../../libraries/tensorflowlite/jni")
set(TFLITE_INCLUDE "${CMAKE_CURRENT_SOURCE_DIR}/../../../../libraries/tensorflowlite/headers")
set(TFLITE_GPU_LIBPATH "${CMAKE_CURRENT_SOURCE_DIR}/../../../../libraries/tensorflowlite-gpu/jni")
set(TFLITE_GPU_INCLUDE "${CMAKE_CURRENT_SOURCE_DIR}/../../../../libraries/tensorflowlite-gpu/headers")

set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=gnu++14")
set(CMAKE_CXX_STANDARD 14)

add_library(SuperResolution SHARED SuperResolution_jni.cpp SuperResolution.cpp)

add_library(lib_tensorflowlite SHARED IMPORTED)
set_target_properties(lib_tensorflowlite PROPERTIES IMPORTED_LOCATION
       ${TFLITE_LIBPATH}/${ANDROID_ABI}/libtensorflowlite_jni.so)

add_library(lib_tensorflowlite_gpu SHARED IMPORTED)
set_target_properties(lib_tensorflowlite_gpu PROPERTIES IMPORTED_LOCATION
       ${TFLITE_GPU_LIBPATH}/${ANDROID_ABI}/libtensorflowlite_gpu_jni.so)

find_library(log-lib log)

include_directories(${TFLITE_INCLUDE})
target_include_directories(SuperResolution PRIVATE
       ${TFLITE_INCLUDE})

include_directories(${TFLITE_GPU_INCLUDE})

target_include_directories(SuperResolution PRIVATE
       ${TFLITE_GPU_INCLUDE})

target_link_libraries(SuperResolution
                     android
                     lib_tensorflowlite
                     lib_tensorflowlite_gpu
                     ${log-lib})

我们在 app 里包含了3个示例图片，这样用户可能会运行同一个模型多次，这意味着为了提高运行效率，我们需要将 TFLite 解释执行器进行缓存。这一点我们可以在解释执行器成功建立后通过将其指针从 C++ 传回到 Java 来实现：

extern "C" JNIEXPORT jlong JNICALLJava_org_tensorflow_lite_examples_superresolution_MainActivity_initWithByteBufferFromJNI(JNIEnv *env, jobject thiz, jobject model_buffer, jboolean use_gpu) {
const void *model_data = static_cast<void *>(env->GetDirectBufferAddress(model_buffer));
  jlong model_size_bytes = env->GetDirectBufferCapacity(model_buffer);
  SuperResolution *super_resolution = new SuperResolution(model_data, static_cast<size_t>(model_size_bytes), use_gpu);
if (super_resolution->IsInterpreterCreated()) {
    LOGI("Interpreter is created successfully");
return reinterpret_cast(super_resolution);
   } else {delete super_resolution;return 0;
  }
}

解释执行器建立之后，运行模型实际上就非常简单了，我们只需要按照 TFLite C API 来就好。不过我们需要注意的是如何从每个像素中抽取 RGB 值：

// Extract RGB values from each pixel
float input_buffer[kNumberOfInputPixels * kImageChannels];
for (int i = 0, j = 0; i < kNumberOfInputPixels; i++) {
// Alpha is ignored
  input_buffer[j++] = static_cast<float>((lr_img_rgb[i] >> 16) & 0xff);
  input_buffer[j++] = static_cast<float>((lr_img_rgb[i] >> 8) & 0xff);
  input_buffer[j++] = static_cast<float>((lr_img_rgb[i]) & 0xff);
}

  • TFLite C API https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/c/c_api.h

运行完模型后我们需要再将 RGB 值再打包进每个像素：

// Postprocess the output from TFLite
int clipped_output[kImageChannels];
auto rgb_colors = std::make_unique<int[]>(kNumberOfOutputPixels);
for (int i = 0; i < kNumberOfOutputPixels; i++) {
for (int j = 0; j < kImageChannels; j++) {
    clipped_output[j] = std::max<float>(0, std::min<float>(255, output_buffer[i * kImageChannels + j]));
  }
// When we have RGB values, we pack them into a single pixel.
// Alpha is set to 255.
  rgb_colors[i] = (255u & 0xff) << 24 | (clipped_output[0] & 0xff) << 16 |
                 (clipped_output[1] & 0xff) << 8 |
                 (clipped_output[2] & 0xff);
}

那么到这里我们就完成了这个 app 的关键步骤，我们可以用这个 app 来生成超分图片。您可以在对应的代码库中看到更多信息。我们希望这个范例能作为一个好的参考来帮助刚刚起步的开发者更快的掌握如何使用 TFLite C/C++ API 来搭建自己的机器学习 app。

  • 对应的代码库中https://github.com/tensorflow/examples/tree/master/lite/examples/super_resolution

致谢

作者十分感谢 @captain__pool 将他实现的 ESRGAN 模型上传到 TFHub, 以及 TFLite 团队的 Tian Lin 和 Jared Duke 提供十分有帮助的反馈。

— 参考 —

[1] Christian Ledig, Lucas Theis, Ferenc Huszar, Jose Caballero, Andrew Cunningham, Alejandro Acosta, Andrew Aitken, Alykhan Tejani, Johannes Totz, Zehan Wang, Wenzhe Shi. 2016. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network.

[2] Xintao Wang, Ke Yu, Shixiang Wu, Jinjin Gu, Yihao Liu, Chao Dong, Chen Change Loy, Yu Qiao, Xiaoou Tang. 2018. ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks.

[3] Tensorflow 2.x based implementation of EDSR, WDSR and SRGAN for single image super-resolution

  • https://github.com/krasserm/super-resolution

[4] @captain__pool 的 ESGRAN 代码实现

  • https://github.com/captain-pool/GSOC

[5] Eirikur Agustsson, Radu Timofte. 2017. NTIRE 2017 Challenge on Single Image Super-Resolution: Dataset and Study.

— 推荐阅读 —

e972aa7a799ca69d58b651061dc4fdea.pngf04fad6c66757220c637591e55251995.png6f8e4ce5f86d9c9a6fc99a663109c0f2.png

了解更多请点击 “

2bcaf3cc2a4b21ae7366a8b50c19e38f.png

分享 ?  点赞 ?  在看 ❤️ 

以“三连”行动支持优质内容！

weixin_39718006
关注
安装retinanet_PyTorch 实现 RetinaNet 目标检测
weixin_39541212的博客
12-22 652
这篇文章介绍一个 PyTorch 实现的 RetinaNet 实现目标检测。文章的思想来自论文：Focal Loss for Dense Object Detection。这个实现的主要目标是为了方便读者能够很好的理解和更改源代码。结果当前的实现能达到 33.7% 的 mAP(600px 分辨率，Resnet-50)。论文里的结果是 34.0% mAP，造成这个差别的主要原因可能是这里使用了 A...
怎么将tflite部署在安卓上_TensorFlow入门教程(九)：在 Android 上使用TF Lite进行图像识别...
weixin_42480540的博客
01-14 1479
本教程由深度学习中文社区(dl.tustcs.com)持续发布与更新.TensorFlow Lite 是 TensorFlow 针对移动和嵌入式设备的轻量级解决方案。它允许您在低延迟的移动设备上运行机器学习模型，因此您可以利用它进行分类，回归或获取你想要的任何东西，而无需与服务器交互。在后面的时间里我们会推出一系列的TensorFlow与PyTorch的入门教程, 希望大家多多转发与关注。目前，T...
Android端使用TensorFlow进行图像分类
热门推荐
徐福记456
06-30 4万+
      最近一直在看TensorFlow的视频教程，它是Google的一个机器学习的跨平台开源框架，可以移植到Android、ios等移动端设备运行。GitHub上面有许多关于TensorFlow开发demo，这让极客开发者们心情躁动，跃跃欲试。今天主要与大家探讨下运用TensorFlow进行图片分类。      它实现的图片分类效果还是相当准确的，值得点赞，先上一张宠物猫的识别：      ...
使用tensorflow1.0.1搭建StackGan用于文字生成各种花鸟图片
change_things的博客
05-17 972
StackGan可以根据文字生成对应的图片，其文章为《StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks》效果如下图所示：github代码在此：https://github.com/hanzhanggit/StackGAN根据Dependencies搭建，但在搭...
tensorflow生成图片标签_Tensorflow 实现将图像与标签数据转化为tfRecord文件
weixin_39860108的博客
01-14 235
tensorflow中如果要对神经网络模型进行训练，需要把训练数据转换为tfrecord格式才能被读取，tensorflow的model文件里直接提供了相应的脚本文件在下面的文件夹中：cd tensorflow/models/research/object_detection/dataset_tools其中包括：1.create_coco_tf_record.py：注意，这个代码需要解析json格...
tensorflow生成图片标签_Tensorflow读取带有标签的图像
weixin_36356958的博客
01-14 449
使用slice_input_producer提供了一种更清洁的解决方案。切片输入生产者使我们能够创建包含任意多个可分离值输入队列。问题的这段代码是这样的：def read_labeled_image_list(image_list_file):"""Reads a .txt file containing pathes and labelesArgs:image_list_file: a .txt...
Java接受blob类型图片_利用blob类型存储图片
weixin_36287955的博客
03-02 2496
SavePicture.java :public class SavePicture {public static void main(String[] args) {Connection conn=null;PreparedStatement pstmt=null;String sql="insert into student(id,name,photo) values(?,?,?)";tr...
直接java调用tflite_使用tensorflow lite遇到的一些坑
weixin_42538175的博客
02-27 1055
尽管这里有tensorflow lite的详细介绍，在实战中还是不免要踩一些坑。下面是我踩过的坑，记录下来，免得下次踩同样的坑)。测试环境：自己训练的模型。使用预训练的模型应该会更简单一些，不需要模型转换这个步骤。Tensorflow 2.0.0-beta1Android Studio 3.4.2简单的回归预测案例模型转换试验了独立程序和训练后即时转换两种方式，最后觉得在训练模型后马上进行模型转换...
Java接受blob类型图片_原生JS上传图片接收服务器端图片并且显示图片（主要描述blob类型）...
weixin_39988164的博客
03-02 3174
1.了解后端处理图像的方式一：图片以独立文件的形式存储在服务器的指定文件夹中，再将路径存入数据库字段中二：将图片转换成blob，直接存储到数据库的 Image 类型字段中(这种方式负担很大不建议使用)blob (binary large object)二进制大对象2.第一种前端直接将存储路径赋值给src属性即可轻松显示前端发起get请求后，后端可直接返回图片在服务器中地址3.第二种以二进制流传输图...
案例分享 | CEVA 使用 TensorFlow Lite 在边缘设备部署语音识别引擎及前端
tensorflowforum的博客
05-18 3420
客座博文 / Ido Gus，来自 CEVA CEVA是无线连接和智能传感技术的领先授权商。我们的产品可帮助原始设备制造商 (OEM) 为移动设备、消费者、汽车、机器人、工业和物联网等多种终端市场，设计节能、智能和联网的设备。 CEVAhttps://www.ceva-dsp.com/ 在本文中，我们将说明如何使用适用于微控制器的 TensorFlow Lite(TensorFlow Lite for Microcontrollers, TFLM)，在基于 CEVA-BX DSP ...
tensorflow获取超分辨率图像
05-31
tensorflow获取超分辨率图像 tensorflow获取超分辨率图像
灰色模型matlab原代码-esrgan-tf2:在Tensorflow2.0+中实现的ESRGAN（增强的超分辨率生成对抗网络，在ECCV2
05-23
灰色模型matlab原代码 :fire: 在Tensorflow 2.0+中实现的ESRGAN（增强的超分辨率生成对抗网络，在ECCV 2018中发布）。 这是一个非正式的实现。 :fire: ESRGAN引入了不进行批量归一化的残差残差块（RRDB）作为基本网络构建单元，采用了相对论GAN的思想，即让鉴别器预测相对真实性，并通过使用激活前的功能来感知损失。 得益于这些改进，与SRGAN相比，拟议的ESRGAN具有始终如一的更好的视觉质量和更逼真的自然纹理，并在PIRM2018-SR挑战赛中获得第一名。 原始纸： 正式实施： ::此储备库的结果。 :: 内容 :bookmark_tabs: 安装 :pizza: 创建一个新的python虚拟环境，或者在python环境中使用pip，然后按以下方式克隆此存储库。 克隆此仓库 git clone https://github.com/peteryuX/esrgan-tf2.git cd esrgan-tf2 conda conda env create -f environment.yml conda activate esrgan-tf2 点子 pip install -r requirement
RRDB_ESRGAN_x4.pth
03-13
ESRGAN models with high perceptual quality.
Android移动端超分辨率调研
最新发布
qq_36544007的博客
12-29 612
图片加载是目前几乎所有的APP都具备的基础能力，在节省服务商的传输带宽之外，也可以降低用户消费端流量的消耗，提升用户的加载速度。帮助每一个产品用更低的成本达到更好的图片加载效果。
tensorflow创建图
梨子社区
09-27 189
在Tensorflow中使用深度学习构建图像标题生成器
07-20 696
by Cole Murray 通过科尔·默里(Cole Murray) 在Tensorflow中使用深度学习构建图像标题生成器 (Building an image caption generator with Deep Learning in Tensorflow) In my last tutorial, you learned how to create a facial recogni...
生成tfrecord为0kb_人工智能进阶-TensorFlow创建TFRecord数据集（附实例代码）
weixin_39616503的博客
12-01 251
在测试TensorFlow实例时发现好多的图片数据集都是处理好的，直接在库中调用，比如Mnist，CIFAR-10等等。但是在运行自己编制的项目的时候，如何去读取自己的数据集呢？其实，一方面TensorFlow官方已经给出方法，那就是将图片制作成tfrecord格式的数据，供TensorFlow读取。另一方面可以用Python以及Python的图像处理第三方库都有数据集读取制作的方法。1. TFR...
移动AI系列-实时超分的探索与实践
百度APP技术
09-10 1497
原创 zhangming 百度App技术 一、背景 随着移动设备的普及，基于移动端的内容生产和消费变得越来越容易。百度App作为内容分发平台，承载着大量来自PGC和UGC贡献的图文和视频内容。在2K手机屏幕分辨率已是主流的当下，人们对观看高清晰度的资源的诉求也变得理所当然。图片和视频的采集、传输和存储受限于各种因素，难免会有一些清晰度和分辨率相对较差的资源存在，这就势必会影响到用户的观看体验。百度App联合百度视觉技术部团队，通过基于深度学习的实时超分辨率重建技术来提升端图片和视频显示效果。 二、如何提升分
将tensor转化为图像
SmartDemo的博客
04-01 8773
import numpy as np import cv2 import torch # opencv支持的图像数据是numpy格式，数据类型为uint8，而且像素值分布在[0,255]之间 data,labels = torch.load("F:/zmz/pycharm/Co-teaching-master/data/processed/test.pt") print(data[0]) print(labels[0].data) # 将tensor转化成numpy img_numpy = data[0.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值