又是一年一度的十一黄金旅游周,你是在景区看人从众叕,还是在高速公路上观看大妈打太极呢?旅游黄金周我一般是尽量不出门,这个十一也不例外。十月一日跑了一个半马迎接国庆,十月二号选择去了一个偏门的景点:张之洞与武汉博物馆。今天则宅在家,吃吃喝喝之余,琢磨起识别狗狗的微信小程序。
自打想到开发一款识别狗狗的app,我的第一直觉是应该开发一款微信小程序。相对于手机原生app,微信小程序具有开发和部署简单,特别是无需安装,即用即走,特别适合这种功能单一,偶尔用一用的app。
实现方案,首先想到的是TensorFlow.js,手机端实现深度学习,无需服务器端,但是TensorFlow.js并不支持微信小程序,无奈只得选择小程序 + server的模式。而我并不擅长web + server的开发,所以在《这个中秋,我开发了一个识别狗狗的app》中谈到,我先使用TensorFlow Lite实现了一个Android App。这个Android App 更多的是一个实验性的项目,这个国庆节,空余时间比较多,决定整一整微信小程序。
因为采用端加server的模式,图片识别在server端完成,所以主要功能实现在server端。我们就先来谈一谈Server端的实现。
TensorFlow Serving
Server端的实现方案有好多种,C++/Java/Python都可以,我一度甚至考虑采用Node.js实现。上周浏览Google开发者大会资料时发现,TensorFlow已经提供了服务器部署方案: TensorFlow Serving。
TensorFlow Serving是一种灵活的高性能服务系统,适用于机器学习模型,专为生产环境而设计。 TensorFlow Serving可以轻松部署新算法和实验,同时保持相同的服务器架构和API。 TensorFlow Serving提供与TensorFlow模型的一揽子集成方案,也可以轻松扩展以服务于其他类型的模型。
详细资料请访问: https://tensorflow.google.cn/serving/
TensorFlow Serving正在不断完善中,直接参考示例并不能实现需要的功能,在多方查找资料之后,终于把整个流程走通。
SavedModel
TensorFlow提供两种模型格式:
- checkpoints,这是一种依赖于创建模型的代码的格式。
- SavedModel,这是一种独立于创建模型的代码的格式。
SaveModel是一种与语言无关,可恢复的密封式序列化格式。TensorFlow提供了多种与SavedModel交互的机制,如tf.saved_model API、Estimator API和CLI。TensorFlow Serving需要使用SavedModel格式的模型文件。
retrain并保存为SavedModel
在《这个中秋,我开发了一个识别狗狗的app》一文中提到,我们不需要从头训练识别狗狗的深度学习模型,而是采用迁移学习,在现有模型的基础上再训练。考虑到模型是部署到服务器端,所以我选择了识别能力更强的Inception V3模型。
带标签的狗狗数据集采用stanford dog datasets,请自行下载并解压,然后执行如下命令进行训练:
python retrain.py --image_dir=./Images --saved_model_dir=models/inception_v3
训练的模型保存于models/inception_v3/1,其中1是版本号,可以通过retrain.py脚本的命令行参数进行指定。
安装tensorflow model server
在Ubuntu下这个非常容易,只需要使用下面的命令即可:
sudo apt install tensorflow-model-server
为了开发方便,需要安装TensorFlow Serving Python API:
pip install tensorflow-serving-api
启动tensorflow model server
按照文档,启动tensorflow model server非常简单,这里加上rest_api_port参数是启动server,并提供RESTful API,这种API接口方便微信小程序与之进行通信。
tensorflow_model_server --rest_api_port=8501 --model_base_path=$PWD/models/inception_v3
但是通过这种方法启动tensorflow model server,整了半天也没有和client进行上通讯,正在一筹莫展的时候,看到github上的一个项目:https://github.com/tobegit3hub/simple_tensorflow_serving。
简单说,Simple TensorFlow Serving是一个TensorFlow Serving的封装,是机器学习模型的通用且易于使用的服务。
其野心也很大,号称支持如下功能:
- 支持分布式TensorFlow模型
- 支持常规RESTful / HTTP API
- 支持GPU加速推理
- 支持curl和其他命令行工具
- 支持客户端使用任何编程语言
- 支持自动生成客户端代码,无需编码
- 支持图像模型中使用原始图片文件进行推断
- 支持详细请求的统计指标
- 支持同时为多个模型提供服务
- 支持动态的在线和离线模型版本
- 支持为TensorFlow模型加载新的自定义操作
- 通过可配置的基本身份验证支持安全身份验证
- 支持TensorFlow / MXNet / PyTorch / Caffe2 / CNTK / ONNX / H2o / Scikit-learn / XGBoost / PMML 等多种模型
我最看中的就是它的自动生成客户端代码功能,在没有这个之前,我查找了很多资料,都没有搞定客户端与服务端之间的通信。另外它还提供了一个web界面,可以查看模型的结构以及signature(签名),这个signature也是折腾了我好久都没有搞定的。
浏览器访问: http://127.0.0.1:8500,web界面如下:
Simple TensorFlow Serving的安装非常简单:
pip install simple_tensorflow_serving
接下来启动server:
simple_tensorflow_serving --model_base_path="./models/inception_v3" &
客户端
微信小程序的开发还没有开始学,先用python写一个客户端先测试一下,我们可以使用自动生成客户端代码功能:
curl http://localhost:8500/v1/models/default/gen_client?language=python > test_client.py
自动生成的代码如下:
#!/usr/bin/env python
import requests
def main():
endpoint = "http://ilego.club:8500"
json_data = {"model_name": "default", "data": {"image": [[[[1.0, 1.0, 1.0], [1.0, 1.0, 1.0], [1.0, 1.0, 1.0], [1.0, 1.0, 1.0], [1.0, 1.0, 1.0]]]]}}
result = requests.post(endpoint, json=json_data)
print(result.text)
if __name__ == "__main__":
main()
可以看出,客户端向server端post一段JSON数据,并获取结果。在这段代码的基础上进行修改,加入图片读取,图片缩放并转换为JSON格式数据,即完成测试客户端代码,代码请参考: https://github.com/mogoweb/aiexamples/blob/master/AIDog/serving/test_client.py
可以尝试测试一张狗狗图片:
python test_client.py --image=./Images/n02116738-African_hunting_dog/n02116738_1105.jpg
结果如下:
n02116738 african hunting dog 0.780203342438
n02115913 dhole 0.0102733308449
n02092002 scottish deerhound 0.00600153999403
前面是类别标签,后面是属于某个类别的概率,上面结果中Top 1概率0.78。
总结
这个服务器端远还没有达到完善,还存在一下问题:
- 客户端与服务器端的图片采用JSON格式传递,图像数据由二进制转为JSON字符串,空间效率低,后面考虑对图像数据进行base64编码。
- 预测的效率比较第,从发出请求到收到回应,有几十秒的时间,还没有查找瓶颈在何处。
- 并发支持,因为现在只是一个简单的测试,如果考虑到产品阶段,多个手机的微信小程序同时进行识别,这还是会有很多工作需要做的。
好了,关于服务端的开发部署就先到这里,下一篇文章我将谈谈微信小程序的开发和与server端的通信,敬请关注!
本文完整代码请参考:https://github.com/mogoweb/aiexamples/tree/master/AIDog/serving