从零点一开始机器学习之HDF5模型发布到tensorflow/serving

置顶 已于 2022-01-24 11:33:55 修改
阅读量2.1k 收藏 2
点赞数 2
分类专栏： 机器学习 文章标签： tensorflow 机器学习 人工智能
于 2022-01-18 18:08:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l1158513573/article/details/122562028
版权

从零点一开始机器学习之HDF5模型发布到tensorflow/serving

赶鸭子上架搞机器学习，此系列希望能够帮助新手入门，或者其他开发人员快速上手机器学习，并用在项目中（我们刚开始可能是“掉包侠”，但是对于后续理论的学习也是必不可少的喔）
为什么是0.1而不是0呢？应为我是从其他语言体系转到机器学习中，以前积累的一些其他经验可以快速帮助我们上手，所以是0.1。
如果本文对你有所帮助，欢迎评论点赞收藏，如有错误，欢迎指正。

系列文章目录

从零点一开始机器学习之晦涩难懂的各种概念
从零点一开始机器学习之Win10 64位下安装Cuda+Cudnn
从零点一开始机器学习之GPU运算性能和CPU性能对比（GPU算力表）
从零点一开始机器学习之TF1.0版本HDF5转换为saved_model
从零点一开始机器学习之HDF5模型发布到tensorflow/serving
Python中tensorflow Import使用错误集合
Python中使用Flask：Docker发布Flask API

HDF5模型发布到tensorflow/serving

前言

我们基于keras训练生成了一个.hdf5的模型数据，如果将其部署，让其他用户调用呢？那么tensorflow/serving可能是一个不错的选择
环境说明 环境和版本很重要，大量的博客没有环境说明和版本介绍，对新人很不友好
Python版本：Python36
tensorflow版本：tensorflow-cpu 2.6.0
tensorflow/serving版本：最新cpu版本
docker版本：Docker version 19.03.12, build 48a66213fe

一、HDF5模型转换

2.0版本转换

hdf5模型不支持直接在tensorflow/serving环境下部署，我们首先需要将.hdf5模型转换为saved_model形式的模型。
由于tensorflow2.0版本对1.0版本系列的不兼容，导致了1.0版本的转换方法和2.0版本的方法不同，由于博主使用的是2.0系列，那么先说2.0系列的转换，超级简单（比1.0）

import tensorflow as tf
tf.keras.backend.clear_session()
hdf5_model = tf.keras.models.load_model("./h5_model/vggmodel_29-0.09-0.97.hdf5")#hdf5模型路径
hdf5_model.save("./wi/1",save_format='tf')#saved_model模型存储路径 1为版本号，如果现在不写，后面也需要手动创建

就这样我们就有一个saved_model形式的模型了，我们看看模型包含什么内容

F:\WI
└─1
    │  keras_metadata.pb
    │  saved_model.pb
    │  
    ├─assets
    └─variables
            variables.data-00000-of-00001
            variables.index

1就是我们的版本号，在进行部署的时候，指定模型路径只需要精确到saved_model_dir，tf.serving会自动选择版本最大的模型进行服务

1.0版本转换

1.0版本的转换就要复杂和麻烦的多了，需要先将hdf5模型转换为pd模型，在将pb模型转换为saved_model形式模型
转换传送门从零点一开始机器学习之TF1.0版本HDF5转换为saved_model

二、基于Docker的tensorflow/serving 服务准备

1.docker环境搭建

docker基础传送门
docker版本

[root@localhost ~]# docker -v
Docker version 19.03.12, build 48a66213fe

2.tensorflow/serving镜像拉取

拉取tensorflow/serving镜像，cpu版本的可以直接拉取tensorflow/serving，docker会自动拉取latest版本

docker pull tensorflow/serving

查看拉取的镜像结果

[root@localhost ~]# docker images
REPOSITORY           TAG                 IMAGE ID            CREATED             SIZE
tensorflow/serving   latest              e874bf5e4700        8 months ago        406MB

3.官方demo运行

我们先不直接发布我们自己的模型，先发布一个官方的模型看看是否成功
下载官方代码

mkdir -p /tmp/tfserving
cd /tmp/tfserving
git clone https://github.com/tensorflow/serving

下载完成后，查看对应目录

[root@localhost tfserving]# cd /tmp/tfserving/serving/
[root@localhost serving]# ls
AUTHORS  CONTRIBUTING.md  LICENSE  README.md  RELEASE.md  tensorflow_serving  third_party  tools  WORKSPACE

启动一个demo的容器

docker run -p 8502:8501 --mount type=bind,source=/tmp/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu,target=/models/half_plus_two -e MODEL_NAME=half_plus_two -t tensorflow/serving &

把/tmp/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu路径挂载到/models/half_plus_two,这样tensorflow_serving就可以加载models下的模型了，然后开放内部8501的http接口。更多参数含义参考docker参数含义。
测试模型其实就是 y = 0.5 * x + 2。即输入一个数，输出是对应的y
运行成功
在这里插入图片描述

docker ps 查看运行效果
在这里插入图片描述
测试一下
在这里插入图片描述

三、发布我们自己的模型

1.saved_model模型上传

将我们的转换后的saved_model模型上传的服务器中，博主路径为


[root@localhost llpcode]# cd /home/llpcode/wi/
[root@localhost wi]# ls
1

2.启动基于模型的tensorflow/serving容器

接下来就是将我们自己的模型挂载到tensorflow/serving镜像中，并启动一个容器，tensorflow/serving有两种调用方式一种是grpc（端口8500），一种是api（端口8501），我们选择api模式，
启动容器命令如下：

docker run -p 8503:8501 --mount type=bind,source=/home/llpcode/wi,target=/models/wwxci -e MODEL_NAME=wwxci -t tensorflow/serving --model_base_path=/models/wwxci/ &

我们的映射端口：8503
模型路径：source=/home/llpcode/wi（不含版本号）
模型名称：wwxci（等会请求api时名称）
SavedModel格式模型的文件夹绝对地址（不含版本号） ：–model_base_path=/models/wwxci/
启动成功后可以用docker ps 查看正在运行的容器。

a.查看模型概况

浏览器访问：http://192.168.xxx.xxx:8503/v1/models/wwxci

{
 "model_version_status": [
  {
   "version": "1",
   "state": "AVAILABLE",
   "status": {
    "error_code": "OK",
    "error_message": ""
   }
  }
 ]
}

b. 查看模型metadata 数据情况:

浏览器访问：http://192.168.50.137:8503/v1/models/wwxci/metadata
{
“model_spec”:{
“name”: “wwxci”,
“signature_name”: “”,
“version”: “1”
}
,
“metadata”: {“signature_def”: {
“signature_def”: {
“serving_default”: {
“inputs”: {
“image_input”: {
“dtype”: “DT_FLOAT”,
“tensor_shape”: {
“dim”: [
{
“size”: “-1”,
“name”: “”
},
{
“size”: “64”,
“name”: “”
},
{
“size”: “64”,
“name”: “”
},
{
“size”: “3”,
“name”: “”
}
],
“unknown_rank”: false
},
“name”: “serving_default_image_input:0”
}
},
“outputs”: {
“predictions”: {
“dtype”: “DT_FLOAT”,
“tensor_shape”: {
“dim”: [
{
“size”: “-1”,
“name”: “”
},
{
“size”: “17”,
“name”: “”
}
],
“unknown_rank”: false
},
“name”: “StatefulPartitionedCall:0”
}
},
“method_name”: “tensorflow/serving/predict”
},
“__saved_model_init_op”: {
“inputs”: {},
“outputs”: {
“__saved_model_init_op”: {
“dtype”: “DT_INVALID”,
“tensor_shape”: {
“dim”: [],
“unknown_rank”: true
},
“name”: “NoOp”
}
},
“method_name”: “”
}
}
}
}
}

3.模型测试

test.py代码，部分敏感信息以处理，结合自己模型

import json,requests
import cv2                                    
import numpy as np
import time

label_dict21={0:['分类1','insuracnce'], 1:['分类2','banflow'],2:['分类3','certificates'], 3:['分类4','dobule']}#图像分类 中文对应字典 ,需要做对应调整
def LoadImage(image_path):
    img = cv2.imread(image_path)
    img = cv2.resize(img, dsize = (64, 64), interpolation = cv2.INTER_AREA)
    img = img.astype("float32") / 255.0
    return np.array(img[:, :, :3])

img=LoadImage("./result/123.jpg")
data = json.dumps({"signature_name": "serving_default", "instances": np.array([img]).tolist()})
headers = {"content-type": "application/json"}
start = time.clock()


json_response = requests.post('http://192.168.xxx.xxx:8503/v1/models/wwxci:predict', 
        data=data, headers=headers)#访问地址
end = time.clock()
print("运行耗时"+str(end - start))
predictions = json.loads(json_response.text)["predictions"]
print(json_response.text)
res = np.argmax(predictions)
print(label_dict21[int(res)][0],predictions[0][np.argmax(predictions)])

运行效果
在这里插入图片描述

四、模型的持续热更新

现在，我们从新构建一个模型版本2，然后上传到模型路径中，解压模型

[root@localhost wi]# ls
1  2  2.tar.gz

这个时候我们不需要重启，直接查看模型概况
浏览器访问：http://192.168.xxx.xxx:8503/v1/models/wwxci
这样模型就在不重启的情况的下进行了热更新，版本1结束，版本2可用

{
 "model_version_status": [
  {
   "version": "2",
   "state": "AVAILABLE",
   "status": {
    "error_code": "OK",
    "error_message": ""
   }
  },
  {
   "version": "1",
   "state": "END",
   "status": {
    "error_code": "OK",
    "error_message": ""
   }
  }
 ]
}

后记

到此我们就完成了一个最简单的模型发布

小黄瓜要编程
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python机器学习实战：机器学习模型的部署与规模化运维
禅与计算机程序设计艺术
04-21 960
1.背景介绍 随着云计算和大数据技术的快速发展，机器学习已经从实验室的理论研究转化为企业日常运营的重要组成部分。然而，将机器学习模型从研发阶段转移到生产环境，并实现规模化运维，仍然是许多组织面临的挑战。本文将深入探讨如何使用Python实现机器学习模型的部署与规模化运维。 1.1 机器学习与Pyt
Tensorflow【实战Google深度学习框架】使用 HDF5 处理大型数据集with TFLearn
李响
02-26 1391
文章目录1.HDF5文件2.github代码：3.源码地址：4.tf入门合集 1.HDF5文件 到目前为止，我们使用的数据集都能够全部加载到内存中。对于小数据集，我们可以加载全部图像数据到内存中，进行预处理，并进行前向传播处理。然而，对于大规模数据集(比如ImageNet),我们需要创建数据生成器，每次只访问一小部分数据集（比如mini-batch），然后对batch数据进行预处理和前向传播。 K...
从零点一开始机器学习之TF1.0版本HDF5转换为saved_model
小黄瓜要编程的博客
01-18 1691
从零点一开始机器学习之TF1.0版本HDF5转换为saved_model 前言 一、hdf5转换为pb模型 二、pb模型转saved_model形式 BUG解决 1.keras_contrib.layers不存在 2 tf2.0版本运行1.0版本代码报错module 'tensorflow._api.v2' has no 'builder'
tensorflow 头文件报错hdf5版本错误
O_MON的博客
03-13 846
装完tensorflow2.0版本一直使用正常，然后不知道怎么就同意了更新anaconda, 就出现了header1.10.4和library1.10.5不匹配的问题，百度了很多方法，最后这个有用，非常感谢博主。为了避免再出现忘记，记录一下这也是我第一篇博客呢 pip uninstall h5py pip install h5py ———————————————— 版权声明：本文为CSDN博主「小甜景」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https:
【Tensorflow】模型如何加载HDF文件数据集？
LRJ的博客
04-23 729
定义文件模式，假设三个数据集都在/dataset文件夹中# 定义读取函数# 创建文件名数据集# 读取数据load_data,load_data,load_data,# 打乱和批处理数据`interleave` 函数可以从多个数据集中交替地读取数据。在这个例子中，我们使用 `interleave` 函数来并行地从多个 HDF5 文件中读取数据。
【Tensorflow2.0】8、tensorflow2.0_hdf5_savedmodel_pb模型转换[1]
dddeee的专栏
11-26 5320
文章目录1、训练模型2、各种模型间互转并验证2.1 hdf5转saved model2.2 saved model转hdf52.3 所有模型精度测试2.4 hdf5和saved模型转tensorflow1.x pb模型2.5 加载并测试pb模型总结 1、训练模型 我们将把训练好的模型分别保存成hdf5和saved model格式，然后完成它们之间的互相转换以及分别转tensorflow1.x的pb......
keras-and-tensorflow-serving：使用TensorFlow Serving和Flask部署Keras模型
02-05
TensorFlow Serving是一种灵活、高性能的服务，用于在线部署机器学习模型，而Flask则是一个轻量级的Python Web服务器和Web应用框架，适合快速构建API。 首先，我们需要理解Keras模型的保存过程。在Keras中，训练...
tf-training-and-serving:在Tensorflow中训练和提供机器学习模型
05-12
在TensorFlow中训练和提供机器学习模型是一项关键任务，它涉及到数据预处理、模型构建、训练、评估以及最终部署到生产环境的过程。本项目“tf-training-and-serving”旨在提供一个全面的指南，帮助开发者理解并实践...
ubuntu下安装NetCDF之HDF4/HDF5对NetCDF的支持
01-05
首先，NetCDF 4.5是NetCDF的一个版本，它增加了对HDF5的支持，允许更高效的数据存储和访问。HDF4（Hierarchical Data Format 4）和HDF5（Hierarchical Data Format 5）是两种流行的科学数据存储格式，它们提供了灵活...
C++ 从 HDF5 文件读取 Keras 神经网络模型和参数
最新发布
08-11
Keras，一个高级神经网络API，支持以HDF5格式保存模型和权重，使得在不同编程语言之间共享模型变得可能，例如从Python训练的模型在C++中进行推理。 首先，我们需要了解HDF5库。HDF5提供了C++ API，可以用于读写HDF5...
hdf5-rust的包，留自学习使用
09-01
HDF5（Hierarchical Data Format 5）是一种用于存储和管理大量数据的文件格式，它支持各种类型的数据，并提供高效、灵活的访问机制。Rust是系统编程语言，以其内存安全和性能而闻名，`hdf5-rust`是Rust语言对HDF5库...
tfcheckpoint2pytorch:将TensorFlow检查点（带有索引，元和数据文件）转换为PyTorch，HDF5和JSON
05-08
tfcheckpoint2pytorch功能 将模型权重从TensorFlow检查点（包含*.index ， *.meta和*.data-*-of-*文件的目录和压缩文件）转储至： PyTorch二进制*.pt格式 HDF5 *.h5 NumPy *.npy和*.npz JSON *.json 使用将TensorFlow模型从检查点导出为ONNX格式 将模型图导出到TensorBoard 相关性：不幸的是，此转换器需要安装TensorFlow（已通过v1.13.1进行了测试； v2.0可能无法正常工作）。 但是，即使通过pip安装也可以： pip3 install tensorflow 。 PyTorch，h5py，tf2onnx是可选依赖项。 示例：openseq2seq的wav2letter speech2text模型 我们将尝试将导出到ONNX。 不幸的是，tf2onnx正
资源 | 数十种TensorFlow实现案例汇集：代码+笔记
weixin_33810302的博客
10-17 504
  选自 Github 机器之心编译 参与：吴攀、李亚洲 这是使用 TensorFlow 实现流行的机器学习算法的教程汇集。本汇集的目标是让读者可以轻松通过案例深入 TensorFlow。 这些案例适合那些想要清晰简明的 TensorFlow 实现案例的初学者。本教程还包含了笔记和带有注解的代码。 项目地址：https://github.com/aymericdamien/TensorFl...
Keras训练 hdf5模型 转成 Tensorflow pb模型
hsclyy的博客
03-01 4270
keras由于其易于上手的特性，广受研究人员的好评。 但是Keras本身没有C++接口，而一般的生产环境都需要C++环境支持。所以能够在C++上部属深度学习模型至关重要。 所以我们需要将hdf5模型转化成tensorflow的 pb模型才可以运用到visual studio 2015中。 本文主要分三个步骤，采用环境为jupter notebook： 1，保存训练好的keras的hdf5模型 2，...
HDF5文件--python 使用简介
weixin_45887664的博客
02-12 1467
在使用TensorFlow，学习回调函数时，使用了ModelCheckpoint()，产生了.h5的文件。为了了解回调函数产生的信息，需要了解HDF5的相关内容，本篇仅仅简要介绍并记录遇到的问题及对用解决方案 简介 HDF5（Hierarchical Data Formal）是用于存储大规模数值数据的较为理想的存储格式，文件后缀名为h5，存储读取速度非常快，且可在文件内部按照明确的层次存储数据，同...
将hdf5文件（.h5、.hdf5）转为txt文件
syz201558503103的博客
01-07 4662
1.用软件HDF_Explorer查看hdf5的文件存储层次。 软件链接：https://pan.baidu.com/s/1vTazr7DemyNGRYI__N4K9g 提取码：z7rj 下载->解压缩->运行HdfExp.exe->hdf5文件拖入->可以看.h5文件的结构了，根据结构去转化 import h5py import numpy as np import os h5_filename='Patches_noHole_and_collected.h5' out_p
pytorch训练的.pth模型格式转换
计算机视觉算法开发与落地
03-30 7847
深度网络模型再工程化调用时存在模型不识别的问题，主要时推理的程序有不同的语言编写的，本文介绍使用pytorch训练的模型格式.pth转化为.pt格式的代码。 pytorch网络代码地址：https://github.com/yassouali/pytorch_segmentation，安装请参考《pytorch框架下语义分割训练实践（一）》。 1 .pth模型转换为.pt模型 我是用fcn训练得到一个语言分割模型，checkpoint-epoch100.pth，使用inference.py文件可以正.
DeepLearning:模型之间的相互转化（keras-hdf5→Tensorflow-pb文件）
weixin_44322778的博客
02-15 975
【写在前面】 在深度学习的应用中，我们往往需要将Python中训练好的模型文件部署到实际的应用测试中，所以自然而然我们就需要进行模型之间的相互转换，例如本人在Python环境下训练好的hdf5文件，现在要加载到C++的Tensorflow部署环境完成实际的测试工作。 【转换步骤】 1、获取keras的hdf5模型 2、选择样本完成keras的hdf5模型测试，记录测试结果 3、通过代码实现hdf5模型到tensorflow pb模型的转换 4、再次输入样本，完成pb模型测试，并将测试结果和hdf5模型的测试
tensorflow读取HDF5
07-27
在TensorFlow中读取HDF5文件，你可以使用h5py库来实现。首先，你需要安装h5py库，然后按照以下步骤进行操作： 1. 导入必要的库： ```python import h5py import tensorflow as tf ``` 2. 打开HDF5文件并读取数据： ```python hdf5_file = h5py.File('your_hdf5_file.h5', 'r') data = hdf5_file\['data'\]\[:\] labels = hdf5_file\['labels'\]\[:\] ``` 这里，'your_hdf5_file.h5'是你的HDF5文件的路径。你可以根据你的实际情况修改路径。 3. 关闭HDF5文件： ```python hdf5_file.close() ``` 现在，你可以使用读取到的数据进行后续的操作，比如训练模型或进行预测。 请注意，这只是读取HDF5文件的基本步骤，具体的操作可能会根据你的数据结构和需求有所不同。你可以根据自己的情况进行相应的调整。 \[2\]提供了一个示例代码，你可以参考其中的读取HDF5文件的部分来实现你的需求。 #### 引用[.reference_title] - *1* *2* *3* [Keras训练 hdf5模型 转成 Tensorflow pb模型](https://blog.csdn.net/hsclyy/article/details/104588224)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值