深度学习（tensorflow+keras）性能问题

0. benchmark

• GitHub - pascanur/DeepLearningBenchmarks

1. 深度学习模型的计算

• MLP & CNN：

  • Large matrix-matrix multiplications dominate in the MLP example

    大矩阵的乘法由何而来呢？
    比如对于手写字符识别问题，一个隐层，784*500*10，
    则在输入时未必是一个28*28 的图像展开成 784 维的列向量，而是 minibatch，60 个图像同时丢进去（构成一个输入矩阵），(60784) * (78450) * (50*10)；

  • two-dimensional image convolutions with small kernels are the major bottleneck in a convolutional network.

2. tensorflow 高性能实践

• CPU 上进行数据的预处理：

  在CPU上进行预处理操作可以显着提高性能。当GPU上进行预处理时，数据流是CPU - > GPU（预处理） - > CPU - > GPU（训练）。数据在CPU和GPU之间来回跳转。在CPU上进行预处理时，数据流是CPU（预处理） - > GPU（训练）。另一个优点是CPU上的预处理可以节省GPU时间，专注于训练。

  with tf.device('/cpu:0'):
    # function to get and process images or data.
    distorted_inputs = load_and_distort_images()
  

---

• 性能指南 - TensorFlow - ApacheCN（Apache中文网）