python有多混乱我就不多说了。这个混论不仅是指整个python市场混乱,更混乱的还有python的各种附加依赖包。为了一劳永逸解决python的各种依赖包对深度学习造成的影响,本文中采用
python的发行版Anaconda。
Step1 安装Anaconda
这里不建议使用python3.4以后的Anaconda版本,因为太新的版本(python3.5)不支持python/matlab混合编程.所以为了以后方便,建议使用python2.7的Anaconda版本。Anaconda安装完成后,numpy和scipy等百余个常见的依赖包自动安装完成。anaconda路径自动在环境变量中添加。
Step2 安装minGW,libpython
网上建议的下载minGW基本就是扯淡,因为下载minGW麻烦不说,文件找不到,路径还要自己配。这里给一个超级方便的方法。在未下载minGW和libpython的情况下,在线安装。当然这要求你的电脑要联网。首先打开命令行窗口,在
命令行窗口(看清楚我说的是命令行窗口不是python的shell脚本)输入命令如下:
conda install mingw libpython
中间会要你选择Proceed([y]/n)? 当然要选y了。输入y,然后按回车键。如果幸运的话,你的电脑会一溜烟安装完。可惜相当一部分人并不幸运,他们会发现一个蛋疼的问题——文件在线下一半不下了,要么就是网速慢成狗。也难怪,谁让这条命令需要链接境外的服务器呢,拜某墙所赐才会下的这么慢。不要急,有办法。如果你已经下了一半,然后卡成了狗。请遵守以下步骤:
(1)狠下心关掉文件下载了一多半的命令行窗口。
(2)重新打开命令行窗口
(3)输入命令
conda clean --lock
输完上述命令后会蹦出一行提示:removing (你的home路径)\Anaconda2\pkgs\.conda_lock-1056
如果你不输入这个命令直接输入
conda install mingw libpython的话,你会发现系统不给装,因为有文件残留的原因。他会认为你要下载的minGW和libpython已经存在了(刚才下过了,只不过是残的)。
(4)输入命令
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --set show_channel_urls yes
第一句话的意思是告诉conda命令等会你别往境外找了,就找我给你的这个地址就可以了。这个是清华大学的anaconda免费package文件服务器
第二句话的意思是告诉conda命令,让我看看你的url对不对(这句话执行后有可能不显示,这是正常的,不用急)
(5)输入命令
conda install mingw libpython
做完以上步骤后就会出现这个界面:
这就说明是装好了。
然后再环境设置的路径里看一下是不是有mingw的路径了。没有的添加一下。
;C:\Users\Marijuana\Anaconda2\MinGW\bin;C:\Users\Marijuana\Anaconda2\MinGW\x86_64-w64-mingw32\lib
Step3 安装theano
这里也是无需下载直接安装,
命令行里输入命令
pip install theano
界面是这样的:
theano安装完成后可以在Anaconda2\Lib\site-packages\theano文件夹下找到theano的文件夹。然后不要忘记将该路径加入环境变量中,在我的电脑中路径如下:
;C:\Users\Marijuana\Anaconda2\Lib\site-packages\theano
Step4 配置路径文件
第一步,在你的电脑User目录下找到你的用户文件夹,我的登陆用户名是Marijuana,然后在C:\Users\Marijuana下新建文本文档,此时果断不要改名
第二步,在新建文本文档中输入如下命令:
[global]
openmp=False
[blas]
Idflags=
[gcc]
cxxflags=-I
C:\Users\Marijuana\Anaconda2\MinGW
注意标红的路径是根据你自己的MinGW来设置的,不需要和我的一样
第三步,保存,改文本文档的名字为
.theanorc.txt(注意theano前还有一个点)
最后一步,重启电脑
Step5 theano测试
从cmd进入python的shell脚本
输入如下指令:
>>> import theano
>>> theano.test()
然后静静等待测试完成。经过漫长的等待之后或许你的显示如下:
看到errors=0 failures=0,你就可以确定你成功了。但是你的也有可能是这样:
SKIP=26,errors=80,那就是说,失败了。仔细查找看显示出的信息:
似乎所有的错误都是同一个:
ERROR: Failure: ImportError (No module named nose_parameterized) 错误的意思是:没有名叫nose_parameterized的模块
解决方法就是:安装名为nose_parameterized的模块,在命令提示符的窗口下输入如下代码:
pip install nose_parameterized
然后再进入python的shell脚本界面,重新输入
>>> import theano
>>> theano.test()
经过漫长的等待,可以看到我们成功的测试结果
基于CUDA+NVIDIA的GPU加速配置
Step1 安装Visual Studio
我个人推荐Win10+VS2012或者是Win7+VS2010,当然其他的选择也大略如此,并不用太纠结。但是千万要注意:
不要用Visual Studio 2015!!!因为兼容性问题
首先,在微软的官网上下载Visual Studio,这里我下载的是
VS2012.全部安装完成后需要输入密钥,密钥是 RBCXF-CVBGR-382MK-DFHJ4-C69G8
其次,在CUDA的官网上下载CUDA。我的是Win10的系统,由于顾虑版本兼容性问题,我选用的是较新的版本CUDA7.0,但是后来来看似乎版本对CUDA的影响不是太大。CUDA安装不需要密钥。CUDA安装好后,如果安装正确,环境变量里面会多出两个变量(不是path里面多两个路径),CUDA_PATH_V7_0和CUDA_PATH
然后重新打开
命令行界面,输入
nvcc -V
如果能够显示版本信息(如下)就是正确安装:
最后一步:重新配置
.theanorc.txt文件
[global]
openmp=False
device=gpu
floatX=float32
allow_input_downcast=True
[blas]
ldflags=
[gcc]
cxxflags=-IC:\Users\Marijuana\Anaconda2\MinGW
[nvcc]
flags=-LC:\Users\Marijuana\Anaconda2\libs
compiler_bindir=C:\Program Files (x86)\Microsoft Visual Studio 11.0\VC\bin
fastmath=True
flags=-arch=sm_30
一段Python代码测试基于VS的CUDA加速在theano上是否应用成功
Spyder是一个Python的集成编辑器,Spyder的介绍请参见附录D Spyder接口大法,Spyder打开后界面如下,然后将代码粘入如下框体
from theano import function, config, shared, sandbox import theano.tensor as T import numpy import time vlen = 10 * 30 * 768 # 10 x #cores x # threads per core iters = 1000 rng = numpy.random.RandomState(22) x = shared(numpy.asarray(rng.rand(vlen), config.floatX)) f = function([], T.exp(x)) print (f.maker.fgraph.toposort()) t0 = time.time() for i in range(iters): r = f() t1 = time.time() print ('Looping %d times took' % iters, t1 - t0, 'seconds') print ('Result is', r) if numpy.any([isinstance(x.op, T.Elemwise) for x in f.maker.fgraph.toposort()]): print ('Used the cpu') else: print ('Used the gpu')
然后点击工具栏中的绿三角运行程序,当然你需要点选一个右下角的Console作为输出环境。我的代码运行起来后输出如下,从输出来看,使用了gpu
runfile('C:/Users/Marijuana/.spyder2/temp.py', wdir='C:/Users/Marijuana/.spyder2')
DEBUG: nvcc STDOUT mod.cu
���ڴ����� C:/Users/Marijuana/AppData/Local/Theano/compiledir_Windows-10-10.0.10240-Intel64_Family_6_Model_78_Stepping_3_GenuineIntel-2.7.12-64/cuda_ndarray/cuda_ndarray.lib �Ͷ��� C:/Users/Marijuana/AppData/Local/Theano/compiledir_Windows-10-10.0.10240-Intel64_Family_6_Model_78_Stepping_3_GenuineIntel-2.7.12-64/cuda_ndarray/cuda_ndarray.exp
Using gpu device 0: GeForce 920M (CNMeM is disabled, cuDNN not available)
DEBUG: nvcc STDOUT mod.cu
���ڴ����� C:/Users/Marijuana/AppData/Local/Theano/compiledir_Windows-10-10.0.10240-Intel64_Family_6_Model_78_Stepping_3_GenuineIntel-2.7.12-64/tmpzarusg/97496c4d3cf9a06dc4082cc141f918d2.lib �Ͷ��� C:/Users/Marijuana/AppData/Local/Theano/compiledir_Windows-10-10.0.10240-Intel64_Family_6_Model_78_Stepping_3_GenuineIntel-2.7.12-64/tmpzarusg/97496c4d3cf9a06dc4082cc141f918d2.exp
INFO (theano.gof.compilelock): Refreshing lock C:\Users\Marijuana\AppData\Local\Theano\compiledir_Windows-10-10.0.10240-Intel64_Family_6_Model_78_Stepping_3_GenuineIntel-2.7.12-64\lock_dir\lock
DEBUG: nvcc STDOUT mod.cu
���ڴ����� C:/Users/Marijuana/AppData/Local/Theano/compiledir_Windows-10-10.0.10240-Intel64_Family_6_Model_78_Stepping_3_GenuineIntel-2.7.12-64/tmpfonthz/6174b19f8005a60d6a2faaae7ff1c9a7.lib �Ͷ��� C:/Users/Marijuana/AppData/Local/Theano/compiledir_Windows-10-10.0.10240-Intel64_Family_6_Model_78_Stepping_3_GenuineIntel-2.7.12-64/tmpfonthz/6174b19f8005a60d6a2faaae7ff1c9a7.exp
INFO (theano.gof.compilelock): Refreshing lock C:\Users\Marijuana\AppData\Local\Theano\compiledir_Windows-10-10.0.10240-Intel64_Family_6_Model_78_Stepping_3_GenuineIntel-2.7.12-64\lock_dir\lock
DEBUG: nvcc STDOUT mod.cu
���ڴ����� C:/Users/Marijuana/AppData/Local/Theano/compiledir_Windows-10-10.0.10240-Intel64_Family_6_Model_78_Stepping_3_GenuineIntel-2.7.12-64/tmpykz3yg/3c923ca60ec57848906002c5ee763565.lib �Ͷ��� C:/Users/Marijuana/AppData/Local/Theano/compiledir_Windows-10-10.0.10240-Intel64_Family_6_Model_78_Stepping_3_GenuineIntel-2.7.12-64/tmpykz3yg/3c923ca60ec57848906002c5ee763565.exp
[GpuElemwise{exp,no_inplace}(<CudaNdarrayType(float32, vector)>), HostFromGpu(GpuElemwise{exp,no_inplace}.0)]
('Looping 1000 times took', 2.11299991607666, 'seconds')
('Result is', array([ 1.23178029, 1.61879349, 1.52278066, ..., 2.20771813,
2.29967761, 1.62323296], dtype=float32))
Used the gpu
如果这个程序能够装好,说明你已经成功在python里面装载了theano,并且theano使用了CUDA平台。