vgg和alexnet,lenet resnet等网络简要评价和使用体会

1.lenet：始祖，瞎组合的一个结构，很多设计思想已经过时了，实践中切勿使用。

２.alexnet:近古老物，relu还能用，drop-out已经用的比较少了而且不太好用。lrn之类的已经不好用了，一般是论文里当被吊打的baseline用

３.vgg:老物，光芒被googlenet给掩盖了，真正的优点是 a.feature-map不变则conv-kenel-width这些不变　b.用一次pooling,width提升一倍

４.googlenet:不太熟悉，用了split and merge 结构，但是不太容易设置,遇到新问题，需要设置的超参数多

５.resnet:主流网络，在ｖgg基础上提升了长度，而且加入了res-block结构,还有resnext,也可以尝试下

６.densenet:resnet中的add改成concat, 重新调了下结构，占用显存大，效果还行，但是感觉不如resnet实用

７.mobilnet: vgg中的conv改成了depthwise-conv，实际用起来效果并没有论文里来的好，而且难训练。

8.shuffenet: resnet-50中的conv1-conv3-conv1的结构改成了conv1-group -> shuffe -> conv-3-depthwise -> conv1-group

实际使用时我还尝试了两种改版conv1-group-> shuffle-> conv-3-group -> conv1-group 和　conv1-> conv3-group- conv1（这种结构非常类似resnext-c）

9.condensent:效果还行，实现起来麻烦，不推荐。

上述网络中推荐的就是标黑的部分，一般推荐用resnet-resnext，需要小点的模型就用shuffenet系列及其改版