我的cpu是G4560,没有AVX指令,但有SSE4.1和SSE4.2指令,如果使用pip来安装,只有tensorflow1.5.0的版本可用,只得自立更生了。
自行编译的话,好处如下:
1.可以根据cpu的指令集来调整优化的选项。
2.可以不用受限于官方给出的python版本、cuda版本和cudnn版本,比如1.12就没有python3.7的版本.
坏处:
编译会各种花式报错,很多时候上网都找不到解决办法,只能自己一个个的试,耗费心力
环境准备
硬件: G4560+gtx1050
系统:deepin 15.8
软件: cuda9.0+cudnn7.0.5+nccl2.3.7+python3.6+gcc6.4+bazel0.19.2
参考:
https://blog.csdn.net/u014475479/article/details/81702392
https://www.jianshu.com/p/db943b0f1627
ps: 刚开始我用的是anaconda来安装,anaconda安装的时候会覆盖掉系统原有的python3路径和gcc路径,用anaconda的gcc来编译的话会出现神奇的错误,所以不建议用anaconda的python3来进行编译。
pss: 安装了anaconda的话,可以先把环境里的.bashrc中anaconda添加的export注释掉,然后source ~/.bashrc来更新系统变量,保证是系统默认的python3
psss: 开始是用bazel0.20, 0.21来编译的, 报的错误是cpu的k8toolchain不支持, 谷歌上推荐用0.19.2
pssss: bazel0.19.2不支持gcc6以上 ,所以要gcc降级
$ which python3
/usr/bin/python3
$ which gcc
/usr/bin/gcc
编译前准备
根据教程,主要需要准备python3、python3-numpy和python3-pip, 和bazel、java8
$ sudo apt install swig python3-dev python3-wheel python3-pip
$ sudo pip3 install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple
$ sudo pip3 install numpy pandas scipy scikit-learn keras -i https://pypi.tuna.tsinghua.edu.cn/simple
#安装完python环境后, 在.bashrc中添加:
$ alias pip="pip3"
$ source ~/.bashrc #激活配置
nccl安装方法参考:https://blog.csdn.net/hanchan94/article/details/80265922
bazel的安装方法参考:https://www.jianshu.com/p/d92913173d5b
java8的安装方法参考:https://www.linuxidc.com/Linux/2016-11/136958.htm
gcc的降级教程参考: https://www.cnblogs.com/wjgaas/p/6124651.html
bazel卸载参考:https://www.jianshu.com/p/65d3fe64df53
开始编译
从tensorflow的github页面:https://github.com/tensorflow/tensorflow/tags
上下载tensorflow的源代码, tensorflow-1.12.0.tar.gz, 解压
$ cd /home/***/tensorflow-1.12.0/
$ ./configure #编译选项
# 注意:
Please specify the location of python. [Default is /usr/bin/python]:
/usr/bin/python3 # 填写系统中python安装位置,python2默认回车,python3需对其手动输入以作修改
Please input the desired Python library path to use. Default is [/usr/local/lib/python2.7/dist-packages]:
/usr/local/lib/python3.6/dist-packages # 同上,2.7可回车默认
其他的选项基本选择no, 包括是否使用clang, 然后需要明确cuda, cudnn, nccl的版本, 比如9.0, 7.0.5, 2.3.7等等
# ./configure 选择结束之后,
$ gedit ***/tensorflow-1.12.0/.bazelrc
# 添加路径
$ import ***/tensorflow-1.12.0/tools/bazel.rc #星号代表文件夹的绝对路径, 编译1.13.1的时候不需要添加这个路径了
# 路径添加结束之后:
$ bazel build -c opt --copt=-msse4.1 --copt=-msse4.2 //tensorflow/tools/pip_package:build_pip_package #添加sse4.1, sse4.2的指令优化
# 如果不支持sse指令:
$ bazel build -c opt //tensorflow/tools/pip_package:build_pip_package
如果报的错误为找不到 ares.h, 则安装libc-ares-dev
* sudo apt install libc-ares-dev
# 编译结束后, 生成whl文件:
$ bazel-bin/tensorflow/tools/pip_package/build_pip_package ~
# 最后一个路径是保存路径
# 然后则可以用pip来安装生成的文件啦
$ pip3 install ~/tensorflow-***.whl