适用对象:在做机器学习/数据科学相关,Online Jupyter已经不适合,需要在本地搭建环境的朋友们..
过去的一段时间,我一直在研究深度学习相关。在这个领域目前最常见的语言和事实上的标准是Python。与任何其他编程语言和工具一样,总是需要学习和熟悉的众多工具和框架,以便充分利用它们。 你可以花费和浪费无数时间来学习如何安装和配置各种数据科学包,如Numpy,Matplotlib,TensorFlow等,并解决各种包依赖关系。
这时,如果你遇到Anaconda,它应该会成为你最好的朋友——因为它会帮你减轻入门的挫败感。 Anaconda发行版附带1000多个数据包,包括 conda和虚拟环境管理器。
在这篇文章中,我们将探讨如何使用Anaconda安装Jupyter Notebook并开始使用Tensorflow和Keras来开始深度学习。Jupyter Notebook非常有助于您熟悉数据科学项目中想要实现的任何内容。并帮你再AI时代脱颖而出,可以参考下文:凯恩博:分享你的Jupyter Notebook,在AI时代脱颖而出zhuanlan.zhihu.com
Anaconda的一个小问题
虽然Anaconda很好,但是目前它和TensorFlow配合上有一点小问题:目前官网最新的Anaconda是集成Python 3.7的环境,注意是Python 3.7。
而Python 3.7和当前最新的TensorFlow 稳定版是不兼容的!
所以这里我将以自己利用Anaconda安装TensorFlow的经验分享于你, 介绍如何在集成Python 3.7的Anaconda安装Python 3.6和TensorFlow-GPU。
电脑配置(供参考)
这里是我的电脑配置,供参考。 当然这只是一个入门级的配置。Windows 10 Pro (Version 1803)
Intel(R) Core(TM) i7-8700 CPU @ 3.20 GHz (6核心/12超线程)
16 GB Memory
1 TB Hard Disk
NVIDIA GeForce GTX 1070
下面进入正题,建议按照这个顺序来安装是比较合理的。
一、创建Python 3.6环境
右键管理员启动anaconda Prompt
创建python36这个环境:
conda create --name python36 python=3.6
进入python36这个环境
conda activate python36
如果有需要回到 Python 3.7
如下:
conda deactivate
二、安装 tensorflow-gpu
确认已经安装显卡驱动
如果没装,请先到NVIDIA官网下载(本文是针对NVIDIA显卡,如果是Intel或者AMD显卡,请先哭一会...)
注意:我们并不需要单独安装CUDA Toolkit 或者cuDNN。因为在安装TensorFlow-GPU的时候,这两个libraries会被自动安装。在安装TensorFlow-GPU之后,用conda list 查看,可以看到cudatoolit和cudnn的版本,我的如下:cudatoolkit 9.0、cudnn 7.3.1。感谢 @洛冰河 的提醒。
开始装TensorFlow-gpu
先确保是在python36这个环境下:
conda activate python36
开始安装:
conda install tensorflow-gpu
需要装很多文件的,如果网速慢的话,估计需要几十分钟到几小时的。如果可以考虑更换到找一个更好的源(已经超出本文范围)。
检查TensorFlow是否已安装好
在python36里,进入python,然后输入:
import tensorflow as tf
hello = tf.constant('Hello , Tensorflow! ')
sess = tf.Session()
print(sess.run(hello))
预期输出
b'Hello , Tensorflow! '
如果OK就对啦,当然,你可以能回到如下问题:
遇到mkl_intel_thread.dll无法找到的问题
解决办法(这也是Anaconda官方推荐的方案):
在conda prompt:
conda update python
再一次,需要装很多文件的,如果网速慢的话,估计需要几十分钟。
设置环境变量的值(可以在conda prompt设置,但下次就无效了;如需永久,在电脑环境变量设置) set CONDA_DLL_SEARCH_MODIFICATION_ENABLE = 1
Disable GPU的Log信息
可能会有一堆的Warning,例如
2019-03-07 17:25:51.878252: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2
2019-03-07 17:25:52.221768: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1432] Found device 0 with properties:
name: GeForce GTX 1070 major: 6 minor: 1 memoryClockRate(GHz): 1.683
pciBusID: 0000:01:00.0
totalMemory: 8.00GiB freeMemory: 6.64GiB
2019-03-07 17:25:52.227274: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1511] Adding visible gpu devices: 0
2019-03-07 17:25:52.655576: I tensorflow/core/common_runtime/gpu/gpu_device.cc:982] Device interconnect StreamExecutor with strength 1 edge matrix:
2019-03-07 17:25:52.658983: I tensorflow/core/common_runtime/gpu/gpu_device.cc:988] 0
2019-03-07 17:25:52.660728: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1001] 0: N
2019-03-07 17:25:52.662681: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1115] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 6396 MB memory) -> physical GPU (device: 0, name: GeForce GTX 1070, pci bus id: 0000:01:00.0, compute capability: 6.1)
解决办法:
在Python Code前设置log等级:
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
查看TensorFlow和Keras版本:
import tensorflow as tf
from tensorflow.keras import layers
print(tf.VERSION)
print(tf.keras.__version__)
输出
1.12.0
2.1.6-tf
三、配置Jupyter Notebook
进入python36:
conda activate python36
需要先安装ipykernel
命令如下:
conda install ipykernel
python -m ipykernel install --user --name python36 --display-name "Python (Python 3.6)"
输出:
Installed kernelspec python36 in C:\Users\***\AppData\Roaming\jupyter\kernels\python36
修改Jupyter的根目录
Jupyter个根目录默认在当前用户的Home路径。 这里示例将其改为D:\Jupyter路径 找到Jupyter Notebook的启动快捷方式,默认路径在: C:\Users\******\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Anaconda3 (64-bit)
找到它的属性 -> 快捷方式,默认为(这里我是将Anaconda3安装在了D盘的根目录的):
D:\Anaconda3\python.exe D:\Anaconda3\cwp.py D:\Anaconda3 D:\Anaconda3\python.exe D:\Anaconda3\Scripts\jupyter-notebook-script.py %USERPROFILE%
把里面的%USERPROFILE% 替换为 D:\Jupyter,即可。
以后再通过Jupyter Notebook的快捷方式启动,根目录就在D:\Jupyter了。
四、配置PyCharm
虽说有了Jupyter Notebook,已经可以很方便的调试和查看Code,但是对于大一点的程序,还是直接在PyCharm里面编写比较方便。在PyCharm中新建Project
在“Project Interpreter”中选择“Existing interpreter”
选择Python36这个路径下的python.exe作为interpreter
当然,除了PyCharm还有很多其他Python IDE是很推荐的,可以看这篇《推荐AI必备语言Python的几款IDE》。
在PyCharm中测试
创建一个.py文件,还是用TensorFlow的例子,当然这次高级一点,来比较一下CPU和GPU的时间差异:
import tensorflow as tf
import timeit
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
# See https://www.tensorflow.org/tutorials/using_gpu#allowing_gpu_memory_growth
config = tf.ConfigProto()
config.gpu_options.allow_growth = True
with tf.device('/cpu:0'):
random_image_cpu = tf.random_normal((100, 1000, 100, 3))
net_cpu = tf.layers.conv2d(random_image_cpu, 32, 7)
net_cpu = tf.reduce_sum(net_cpu)
with tf.device('/gpu:0'):
random_image_gpu = tf.random_normal((100, 1000, 100, 3))
net_gpu = tf.layers.conv2d(random_image_gpu, 32, 7)
net_gpu = tf.reduce_sum(net_gpu)
sess = tf.Session(config=config)
# Test execution once to detect errors early.
try:
sess.run(tf.global_variables_initializer())
except tf.errors.InvalidArgumentError:
print(
'如果出了这个Error表示GPU配置不成功!\n\n')
raise
def cpu():
sess.run(net_cpu)
def gpu():
sess.run(net_gpu)
# Runs the op several times.
print('Time (s) to convolve 32x7x7x3 filter over random 100x1000x100x3 images '
'(batch x height x width x channel). Sum of ten runs.')
print('CPU (s):')
cpu_time = timeit.timeit('cpu()', number=10, setup="from __main__ import cpu")
print(cpu_time)
print('GPU (s):')
gpu_time = timeit.timeit('gpu()', number=10, setup="from __main__ import gpu")
print(gpu_time)
print('GPU speedup over CPU: {}x'.format(int(cpu_time / gpu_time)))
sess.close()
输出:
Time (s) to convolve 32x7x7x3 filter over random 100x1000x100x3 images (batch x height x width x channel). Sum of ten runs.
CPU (s):
25.24234085335886
GPU (s):
1.5711942943447745
GPU speedup over CPU: 16x不错~ 这个任务GPU和6个i7的CPU相比快了16倍!!
总结
为了安装使用TensorFlow-GPU,Anaconda提供简单、快速的安装方式。非常推荐!
最后说一点,工具是前提,配置好了之后还是要更多的专注在算法、模型和原理上。推荐机器学习和深度学习的书单凯恩博:人工智能2018 深度学习最佳书单zhuanlan.zhihu.comKaggle比赛入门:凯恩博:如何在Kaggle排行榜取得好成绩——Kaggle新人参加Digit Recognition的经历zhuanlan.zhihu.com
如果对PyTorch感兴趣的朋友,可以继续看这篇文章凯恩博:PyTorch的初步尝试:安装和Tutorialzhuanlan.zhihu.com
对于TensorFlow 2.0 版本感兴趣的朋友可以看这篇 2.0的安装和填坑小结凯恩博:TensorFlow 2.0 Alpha的初步尝试:安装及填坑小记zhuanlan.zhihu.com
欢迎点赞,欢迎留言交流~