一些术语的比较（tensorflow和pytorch/cpu和gpu/)

tensorflow和pytorch

1. pytorch是一个动态框架，tensorflow是一个静态框架。
2. tensorflow是一个静态框架体现在：需要先构建一个tensorflow的计算图，构建好之后这样的一个计算图是不能变的，然后再传入不同的数据进去进行计算。
3. 这种静态框架带来的问题是：固定了计算的流程，势必带来不灵活性，如果要改变计算的逻辑或者是随着时间变化的计算逻辑，这样的动态计算tensorflow是是无法实现的。
4. pytorch是一个动态框架，和python的逻辑一样，对变量做任何操作都是灵活的。
5. 一个好的框架需要具备三点：
   （１）对大的计算图能方便的实现
   （２）能自动求变量的导数
   （３）能简单的运行在GPU上
   这三点pytorch都可以达到
6. tensorflow在gpu上的分布式计算更为出色，在数据量巨大的时候效率比pytorch要高。企业很多都是用的tensorflow，pytorch在学术科研上使用多些。
7. pytorch包括三个层次：tensor/variable/module。tensor即张量的意思，由于是矩阵的运算，所以适合在矩阵上跑。variable就是tensor的封装，封装的目的就是为了能够保存住该variable在整个计算图中的位置，能够知道计算图中各个变量之间的相互依赖关系，这样就能够反向求梯度。module是一个更高的层次，是一个神经网络的层次，可以直接调用全连接层、卷积层等神经网络。

cpu和gpu

1. cpu更少的核，但是单个核的计算能力很强
2. gpu:更多的核，每个核的计算能力不如cpu，所以更适合做并行计算，如矩阵计算，深度学习就是很多的矩阵计算。

cuda

1. 直接写cuda代码就类似写汇编语言
2. 比cuda高级的是cudnn
3. 比cudnn高级的是用框架tensorflow/caffe/pytorch