深度学习系列---框架与工具

1.数据集准备

ImageNet: http://www.image-net.org/

CIFAR10/CIFAR100: http://www.cs.utoronto.ca/~kriz/cifar.html

MNIST: http://yann.lecun.com/exdb/mnist/

Labeled Faces in the Wild：http://vis-www.cs.umass.edu/lfw/

more dataset: http://deeplearning.net/datasets/

==================================================================================================

2.深度学习竞赛及典型网络模型

ILSVRC（ImageNet Large Scale Visual Recognition Challenge）比赛；

网络：

（1）Alexnet（Alex Krizzhevsky）

（2）LeNet-5（Yan LeCun）  http://yann.lecun.com/exdb/lenet/

（3）CaffeNet，GoogLeNet，VGG

Alexnet，LeNet-5，CaffeNet，GoogLeNet 在Caffe有；

VGG：http://www.robots.ox.ac.uk/~vgg/

==================================================================================================

3.深度学习框架

Big 3：Caffe,Torch，Theano；

TensorFlow（Google），CNTK（MS），SysytemML（IBM），Wills（Samsung），FAIR modukle on Torch（FB）；

Caffe（http://caffe.berkeleyvision.org/）：

是一个不需要编程的框架，只需要使用.prototxt 文件去描述网络；

train models：

./build/tools/caffe train -- solver=models/bvlc_reference_caffenet/solver.prototxt

use GPU：

./build/tools/caffe train -- solver=models/bvlc_reference_caffenet/solver.prototxt -gpu 0

Fine-Tune in Caffe： 对已经训练好的模型加上已经得到的权值参数等再进行重新训练；

Caffe Model Zoo：http://github.com/BVLC/caffe/wiki/Model-Zoo

Places-205：http://places.csail.mit.edu/demo.html
Caffe on SuperVesse 用户指导l：http://services.ptopenlab.com/mediawiki/index.php/

Torch：http://torch.ch/  科学计算框架

Theano（http://deeplearning.net/software/theano/）python科学计算库

TensorFlow（http://www.tensorflow.org/）

谷歌开源计算框架；数据流图，节点计算单元，边是输入输出的关系；C/C++/Python API；ML &&  DL；

MNIST数据集的训练例子：http://www.tensorflow.org/versions/ro.7/tutorials/mnist/beginners/index.html#minst-for-ml-beginners

对比：

灵活性：Theano?TensorFlow>Torch>Caffe

初学者：Caffe>Theano>Torch（可以分布式运算）>TensorFlow

深度学习可视化工具DIGITS：

==================================================================================================

4.深度学习实验与实践