[自动驾驶]Build a Traffic Sign Recognition Program

看《准确率98%的深度学习交通标志识别是如何做到的？》这篇文章的时候，发现了udacity的自动驾驶课程。可惜要收费，不过课程project在github上有，那直接做project就好了，不上课了。

那先从Build a Traffic Sign Recognition Program开始吧。

环境准备

官方提供了CPU的docker环境，略不爽，哥的1060吃灰好久，正想用起来。不过可以发现项目里其实也提供了Dockerfile.gpu文件，其实自己build一下就好，但因为万恶的防火墙，网络连接会有问题，而且速度很慢，让人揪心。后来才搞清楚怎么连。
直接export https_proxy其实没用，docker build的时候会进入docker环境里。这时候代理就失效了。

宿主机用ifconfig可以看到有docker0这个网卡，在docker环境里其实就用这个ip来访问宿主机。比如宿主是172.17.0.1，docker里面是172.17.0.2。然后ss设置在172.17.0.1监听，gui-config.json里配上 "shareOverLan": true, socks5模式连接有问题，得换成http。然后改一下Dockerfile，加上正确的export https_proxy应该就可以。

不过我是比较暴力地在宿主机器conda env create好环境，然后拷贝进去docker，最后用sed把conda-meta目录的路径修正一下。之前装好了一个TensorFlow的docker，我就基于这个环境，补全conda env，然后docker commit <CONTAINER ID> <IMAGE>把这个修改版的环境保存一下。

然后实验的时候就用这样来启动
nvidia-docker run -it -p 8888:8888 --volume /home/dinosoft/CarND-Traffic-Sign-Classifier-Project:/notebooks carnd bash
命令行不加bash就直接打开jupyter，这时候你想ctrl+z暂停，然后pip装个东西装不了。

环境有变更的话ctrl+p ctrl+q可以退出docker环境，然后docker ps查看 id，docker commit保存一下即可。

conda env

进入bash之后，记得切环境。不然pip安装新的包安装到其他地方去了。

  source activate carnd-term1

  # To deactivate an active environment, use:
  source deactivate

jupyter

#先装这个，支持conda的env
conda install nb_conda

因为这个notebook太长了，鼠标滚得我蛋疼，需要一个目录之类的东西，方便导航

先把https://github.com/ipython-contrib/jupyter_contrib_nbextensions 装上，然后勾选table of content这个插件使其生效。

数据下载

课程材料应该会提供下载链接吧，可惜没交钱。不过还好，最后还是让我找到了。不然就得自己到官网下数据，然后费劲转换。
https://github.com/frankkanis/CarND-Traffic-Sign-Classifier-Project 这里提供了pickle格式的数据下载链接。好心人真多。

求数据的人多，我搬运到百度云吧。链接：https://pan.baidu.com/s/1XSvdVrFFkr0oKvM0JWt46A 密码：nb44

搞这个环境吐了一大口老血，蛋疼。

已有结果分析和实验

https://github.com/kenshiro-o/CarND-Traffic-Sign-Classifier-Project 这里已经有一份做好的代码，现在上班没有很多时间耗，就基于这个来吧。

method	baseline score	normalised best score	dropout
color	0.9145(5*5)	0.9310(3*3)	0.9754（0.5 3*3）
gray	0.9165(3*3)	0.9363(5*5)	0.9755（0.5 3*3）
hist_eq(迭代500次)		0.9339(3*3)	0.9775(5*5)
aug(迭代2000次)			0.9786(0.5 3*3)

直方图均衡化和数据增强这种hand-craft操作其实提升有限（对我这种懒人是个好消息），而且作者很trick，偷偷增加了迭代次数。normalization其实对模型效果没有提升，只是可以方便加速收敛（注意这里是在相同的迭代次数（200）的情况下对比的）。因为这点数据，DL很容易就过拟合，只有dropout提升是最明显的。

其他问题的思考（只针对当前场景，不要瞎推广）：

Q:颜色对识别的影响

虽然人类对颜色还是比较敏感的，但是结果可以看到，在相同迭代次数下，灰度图效果反而要稍微好一丢丢。
仔细观察可以发现交通标志设计的时候在图案和颜色上都有很强的区分性（不存在形状类似，只是颜色不同的标识），所以在当前场景颜色信息是有点冗余的。不过对于区分标识和背景还是有用的。

Q:类别分布不均匀问题

valid和test集合分布都一样，算准确率的时候也没有对不同类别区分权重，其实就完全不会有问题啦。

Q:归一化

def normalise_images(imgs, dist):
    """
    Nornalise the supplied images from data in dist
    """
    std = np.std(dist)
    #std = 128
    mean = np.mean(dist)
    #mean = 128
    return (imgs - mean) / std

原作者是用了这种，没有区分颜色通道。虽然常见都是分3通道做。

因为发现数据图片亮度不一，我试着对每一图片，每个通道单独矫正，发现费了老大劲，没有啥特别效果(乘以255是为了方便直接当作图片显示)，人眼觉得看起来费劲，DL不一定看不清啊。

  def normalise_images_new(imgs, _):
      """
      Nornalise the supplied images from data in dist
      """
      result = []
      for i in range(imgs.shape[0]):
          img = imgs[i]
          range_max = np.max(img, axis=(0,1))
          range_min = np.min(img, axis=(0,1))
          mean = np.mean(img, axis=(0,1))
          std = np.std(img, axis=(0,1))
          if len(range_max.shape) == 1 and range_max.shape[0] > 1:
              tmp = np.zeros(img.shape)
              for j in range(range_max.shape[0]):
                  tmp[:, :, j] = (img[:, :, j] - range_min[j]) / (0.0 + range_max[j]-range_min[j]) * 255
              result.append(tmp)
          else:
              result.append((img - range_min) / (range_max-range_min) * 255)

      return np.array( np.clip(result, 0, 255) ).astype(np.uint8)

原作者最后用了Histogram Equalization，这玩意，本质上就是对图像做了线性变换，不过这个线性变换矩阵是对每个图片单独计算的。所以应该不会有大的奇迹发生。

大力出奇迹

这种问题实际中还是用基于现有网络做fine tuning的。用vgg16来试试看。
主要参考了

• https://flyyufelix.github.io/2016/10/08/fine-tuning-in-keras-part2.html
• https://www.kaggle.com/fujisan/use-keras-pre-trained-vgg16-acc-98

vgg要求输入224*224，还得把32*32的缩放一下，结果爆内存了，直接截取1w和1k做train和valid，最开始取了前面1w个样本，不均匀啊，有些label没取到。跑出来的结果让人怀疑人生啊。还好睡觉前找出原因，不然模型一夜就白跑了。

用完整的vgg16会爆显存，只能缩减后面追加的fc层，然后缩小batch size。

from keras.models import Sequential
from keras.optimizers import SGD