windows编译TensorFlowServing

本文详细描述了如何在Windows系统上按照Linux编译流程,安装Bazel、VisualStudio、Python等工具,配置环境变量,下载和修改TensorFlowServing源码,解决依赖库问题,以及编译和运行TensorFlowServing的步骤。
摘要由CSDN通过智能技术生成

概述

整个编译打包过程的总体思路,是参照在linux下的编译流程,配置环境,执行编译命令,根据编译器/链接器反馈的错误,修改相应的源码或者相关库文件的存放路径,编译出windows平台下静态库和二进制执行文件。

TIP:在碰到很多编译错误的时候,适当避开某些不好解决的第三方依赖库(libevent,gflag,glog),把流程走通,再回头解决外部依赖库的问题。

在这里插入图片描述

windows编译tensorflow serving流程图

Windows编译环境搭建

说明:本教程中部分路径的展示沿用了linux教程中正斜杠的用法,未予修改。凡是非linux沿用命令及输出信息中的路径,均采用windows平台下的反斜杠。两种分隔方式除特别说明,在windows平台下可以混用。

安装Bazel

下载bazelwindows的安装包,版本要求>=3.7.2。在页面中找到 bazel-<version>-windows-x86_64.exe,如bazel-3.7.2-windows-x86_64.exe改名为bazel.exe,并将该文件所在目录放到%PATH%目录,打开命令行窗口,可以搜索到bazel即可。

D:\TFServing\serving>bazel --version
bazel 3.7.2
安装Visual Studio 2019

进入visual studio 2019安装包下载界面,选择社区版,按提示安装即可。可参考安装教程

安装Python及附属包

选择python3.9,进入下载界面,找到对应版本,参考教程。在安装时将pip一起安装,后需用pip安装其他工具包比如numpy等。

其他工具

这里主要是git,msys2,patch,git的安装方式可参考教程

msys2是在windows上模拟linux环境,安装后可以在window上执行linux上的程序。安装教程可参考资料

 pacman -Syu
 pacman -Su
 pacman -S patch unzip
配置环境变量

将上面安装的所有工具的二进制包添加到环境变量:

在系统变量中添加变量名BAZEL_SH,BAZEL_VC,BAZEL_VS,并设置相应的路径。

D:\msys64\usr\bin\bash.exe 									#BAZEL_SH
D:\Program Files\Microsoft Visual Studio\2019\Community\VC 	#BAZEL_VC
D:\Program Files\Microsoft Visual Studio\2019\Community  	#BAZEL_VS

%PATH%中需添加:

D:\Bazel 						#bazel.exe所在目录
D:\ProgramData\Python\Python39 	#python39.exe所在目录
D:\msys64\usr\bin				#msys2中安装的软件所在目录

下载源码

下载tensorflow serving的源码:

git clone https://github.com/tensorflow/serving.git
cd serving

通过分析依赖层级结构,获取所有依赖库源码:

bazel fetch --experimental_repo_remote_exec tensorflow_serving/model_servers:tensorflow_model_server

注意fetch可以通过分析依赖层级关系,下载对应的工程文件,可通过--repository_cache d:\BazelCache 选项,指定目录存放所有下载的源码文件,也可参考下一节中的bazel配置文件修改存放位置。如遇到下载不成功,重复执行即可。直到显示

D:\TFServing\serving>bazel fetch --experimental_repo_remote_exec tensorflow_serving/model_servers:tensorflow_model_server
Starting local Bazel server and connecting to it...
DEBUG: D:/bazelcache/z4avbakx/external/org_tensorflow/third_party/repo.bzl:109:14:
Warning: skipping import of repository 'icu' because it already exists.
INFO: All external dependencies fetched successfully.
Loading: 301 packages loaded

表示全部工程文件下载完毕。

源码修改

tensorflow serving的源码文件是通过git clone 命令下载到本地,而所有依赖库文件包括tensorflow, libevent等都存放在指定的bazel缓存目录。这里以进入serving根目录下开始

cd serving
Bazel编译脚本的修改
  • 打开.bazelrc文件,在文末加入

    startup --output_user_root=D:\BazelCache
    

    表示将所有依赖的外部库源码下载到这个目录,且编译中生成的中间文件,缓存文件,静态库以及二进制文件均存放此目录。此操作与在bazel命令中使用--repository_cache d:\BazelCache效果相同 。如不改变,则会默认在C盘中存放上述文件(不推荐)。

  • .\tensorflow_serving\workspace.bzl中注释掉com_goolge_sentencepiececom_google_glog的下载请求。此操作可规避sentencepiece以及glog等产生的平台关联性报错。

  • .\third_party\libevent\BUILD文件中注释掉58~72行libevent的编译语句(genrule部分)。该编译语句适用于linux平台,windows平台上采用官方提供cmake方式编译,并将头文件和库文件放到指定搜索目录[1]

  • 进入.\tensorflow_serving\model_servers\BUILD文件中注释掉参数linkstamp,此操作可避免调用java运行时的异常 [2]

    cc_library(
        name = "tensorflow_model_server_main_lib",
        srcs = [
            "main.cc",
        ],
        hdrs = [
            "version.h",
        ],
        #注释即可
        #linkstamp = "version.cc",
        visibility = [
            ":tensorflow_model_server_custom_op_clients",
            "//tensorflow_serving:internal",
        ],
        ...
    )
    
TensorFlow的源码修改

如上文所述,tensorflow的工程源码存放在自定义的D:\BazelCache所在目录。修改tensorflow的源码,需进入tensorflow工程所在的根目录,例如:

cd D:\BazelCache\z4avbakx\external\org_tensorflow
  • 在文件.\tensorflow\core\framework\registration\registration.h中找到

    #define TF_NEW_ID_FOR_INIT_2(m, c, ...) m(c, __VA_ARGS__)
    

    改为:

    #define EXPAND(x) x
    #define TF_NEW_ID_FOR_INIT_2(m, c, ...)  EXPAND(m(c, __VA_ARGS__))
    

    此操作用来解决msvc__VA_ARGS__的支持问题[3]。同理需在文件.\tensorflow\core\framework\op_kernel.h中将

    #define TF_EXTRACT_KERNEL_NAME_IMPL(m, ...) m(__VA_ARGS__)
    

    改为:

    #define EXPAND(x) x
    #define TF_EXTRACT_KERNEL_NAME_IMPL(m, ...) EXPAND(m(__VA_ARGS__))
    

    TIP: 查找目录及子目录下所有包含指定字符串的文件,linux下可使用

    grep "findStr" -r ./
    
  • 分别在源码文件

    .\tensorflow\core\lib\random\random_distributions.h
    .\tensorflow\cc\gradients\math_grad.cc
    .\tensorflow\compiler\xla\client\lib\prng.cc
    .\tensorflow\compiler\mlir\tensorflow\transforms\lower_tf.cc
    .\tensorflow\compiler\xla\client\lib\math.cc
    

    中适当位置(建议在头文件包含之后)加入

    #define M_PI 3.14
    

    可解决函数中找不到该宏定义的错误。

  • 在文件

    .\tensorflow\core\platform\windows\error_windows.cc
    .\tensorflow\core\platform\cloud\gcs_dns_cache.cc
    

    中将window.hwinsock2.h的包含顺序调换[4]

  • .\tensorflow\core\platform\path.cc中将

    bool IsAbsolutePath(StringPiece path) {
      return !path.empty() && path[0] == '/';//linux中的路径第一个字符为‘/’为绝对路径
    }
    

    改为:

    bool IsAbsolutePath(StringPiece path) {
      return !path.empty() && path[1] == ':';//windows中的路径第二个字符为‘:’为绝对路径
    }
    

    来支持在windows平台上的正常执行。

TensorFlow Serving 的源码修改

进入到tensorflow serving工程主目录,即

cd serving
  • 在文件.\tensorflow_serving\util\net_http\server\public\response_code_enum.h中注释掉ERROR=500

    UNAVAILABLE_LEGAL = 451,      // Unavailable For Legal Reasons (RFC 7725)
    CLIENT_CLOSED_REQUEST = 499,  // Client Closed Request (Nginx)
    
    // Server Error
    //ERROR = 500,               // Internal Server Error
    NOT_IMP = 501,               // Not Implemented
    BAD_GATEWAY = 502,           // Bad Gateway
    ...
    

    同时修改.\tensorflow_serving\model_servers\http_server.cc中涉及到HTTPStatusCode::ERROR的部分。该操作可让编译继续进行,但可能会导致调试信息缺失的问题,请谨慎操作。

  • .\tensorflow_serving\util\net_http\server\internal\evhttp_server.cc

    //#include <netinet/in.h>
    //替换为
    #include <winsock2.h>
    #pragma comment(lib,“ws2_32.lib”)
    

    这是由于在windows平台没有netinet/in.h文件,故用windows平台下相关文件替换[5]。同时,在该文件中

    void InitLibEvent() {
      //if (evthread_use_pthreads() != 0) { 		//pthread是linux平台的线程库
      if (evthread_use_windows_threads() != 0) { 	//替换成windows平台对应的接口
        NET_LOG(FATAL, "Server requires pthread support.");
      }
    
  • .\tensorflow_serving\model_servers\main.cc中注释掉TF_Version以及TF_Serving_Version的函数

    if (!tensorflow::Flags::Parse(&argc, argv, flag_list)) {
        std::cout << usage;
        return -1;
    }
    
    //  if (display_version) {
    //    std::cout << "TensorFlow ModelServer: " << TF_Serving_Version() << "\n";
    //              << "TensorFlow Library: " << TF_Version() << "\n";
    //    return 0;
    //  }
    
    tensorflow::port::InitMain(argv[0], &argc, &argv);
    ...
    

    由于最开始注释掉了linkstamp,导致version.cc内的版本信息没有被加入执行文件,故相关的函数缺失。该操作不会影响程序的主要功能。

libevent 编译配置

由于tensorflow serving工程中对libevent编译脚本不适合windows平台。故选择手动下载并采用cmake的方式编译[1],将头文件和生成的库文件放入指定目录。在libevent工程的根目录中新建libevent目录,即

D:\BazelCache\z4avbakx\external\com_github_libevent_libevent\libevent

中所有头文件放入include\目录,将生成的库文件放入lib\目录。

编译执行

bazel build --experimental_repo_remote_exec tensorflow_serving/model_servers:tensorflow_model_server --action_env PYTHON_BIN_PATH=D:\ProgramData\Python\Python39\python.exe --local_ram_resources=200 --local_cpu_resources=10 >log.txt

参数中--action_env PYTHON_BIN_PATH 用来指定python的安装路径,若不指定,系统将无法正确找到python.exe,导致错误[6]--local_ram_resources=200 --local_cpu_resources=10用来控制bazel内存使用和cpu核心使用。可有效解决编译过程中出现的堆空间分配不足的问题[7]。采用 >log.txt可将低级别的警告信息保存至文件,方便排查错误类型。当出现类似下列输出

...
INFO: Analyzed target //tensorflow_serving/model_servers:tensorflow_model_server (276 packages loaded, 23004 targets configured).
INFO: Found 1 target...
Target //tensorflow_serving/model_servers:tensorflow_model_server up-to-date:
  bazel-bin/tensorflow_serving/model_servers/tensorflow_model_server.exe
INFO: Elapsed time: 27.595s, Critical Path: 7.34s
INFO: 1 process: 1 internal.
INFO: Build completed successfully, 1 total action

表明编译成功,且生成了对应的执行文件。

运行及调试

serving的根目录下以管理员权限执行以下命令[8]

bazel-bin\tensorflow_serving\model_servers\tensorflow_model_server.exe --model_base_path=D:\TFServing\serving\tensorflow_serving\servables\tensorflow\testdata\saved_model_half_plus_two_cpu --model_name=half_plus_two --rest_api_port=8501

当出现类似下列输出

...
2021-10-13 16:21:11.190345: I tensorflow_serving/core/loader_harness.cc:87] Successfully loaded servable version {name: half_plus_two version: 123}
2021-10-13 16:21:11.192614: I tensorflow_serving/model_servers/server_core.cc:486] Finished adding/updating models
2021-10-13 16:21:11.192739: I tensorflow_serving/model_servers/server.cc:133] Using InsecureServerCredentials
2021-10-13 16:21:11.192771: I tensorflow_serving/model_servers/server.cc:383] Profiler service is enabled
2021-10-13 16:21:11.195258: I tensorflow_serving/model_servers/server.cc:409] Running gRPC ModelServer at 0.0.0.0:8500 ...
[evhttp_server.cc : 249] NET_LOG: Entering the event loop ...
2021-10-13 16:21:11.197798: I tensorflow_serving/model_servers/server.cc:430] Exporting HTTP/REST API at:localhost:8501 ...

表明windows上的服务端正常运行。可通过客户端命令

curl -XPOST http://localhost:8501/v1/models/half_plus_two:predict -d "{\"instances\":[1.0, 2.0, 5.0]}"

测试,如出现类似下列输出

{
    "predictions": [2.5, 3.0, 4.5
    ]
}

表明客户端的请求被正确处理,服务器模型正常运行。可用于测试其他模型。

其他

内存问题

在编译时如果出现类似

LINK : fatal error LNK1102: 内存不足

的问题,可在命令行中

set PreferredToolArchitecture=x64  

msvc默认采用32位的编译工具包括cl.exe以及link.exe,这里采用64位的编译工具编译,解决虚拟内存不足的问题[9]

耗时问题

编译tensorflow的某些源码文件时会遇到耗时特别长的问题,目前还不清楚是什么问题导致。如果不中断,可能需要1~3个小时才能完成某一个文件的目标码的生成。通过切换到较低版本可能会改善时长问题(待验证)。

下一步工作

  • 目前编译打包的版本没有cuda的支持,后续将根据模型的运行时间添加。
  • 关于libeventwindows平台支持不好的问题,如有需要将替换成更友好的libuv库。
  • 已经注释掉未参加编译的sentencepiecegflag库,如果影响程序的正常运行,将添加支持。
  • 对于通过注释linkstamp去掉的版本信息,将按需添加。
  • 分析Serving工程的依赖层次结构,去掉业务实战中用不到的功能,使执行文件轻量化。

参考文档

[1] libeventwindows上的编译

[2] linstamp无法在windows上正常运行

[3] msvc__VA_ARGS__的支持问题

[4] windows.hwinsock2.h的包含顺序

[5] windows下找不到netinet/in.h文件

[6] python环境配置错误

[7] bazel限制内存使用

[8] tensorflow serving的运行及调试

[9] 编译器堆空间不足问题
ensorflow/tensorflow/issues/48264)

[7] bazel限制内存使用

[8] tensorflow serving的运行及调试

[9] 编译器堆空间不足问题

  • 19
    点赞
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值