2017年11月_qiusuoxiaozi

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创深度学习炼丹师的养成之路之——Batch size/Epoch/Learning Rate的设置和学习策略

这个名字好长啊。。但是，考虑到每一次训练都要耗费长达数日的GPU时间，每次启动训练前，细致而缜密的前期准备工作其实非常必要而且至关重要，这直接影响着数日之后的loss和最终的performance。首先推荐的一个文章是前几日看到的，知乎上谭旭的一个回答，谈到了最近facebook的training ImageNet in one hour，比较详细地阐释了batch size的大小对收敛性

2017-11-06 13:34:49 21331 1

原创深度学习炼丹师的养成之路之——How to subtract the mean value

今天这个文章题目的名字好啰嗦啊，其实主要是为了提醒自己要有“工匠精神”，在深度学习的修炼之路上学会有耐心，慢工出细活。如果到头来只会盲目地堆网络和试参数，这就背离了修炼的正轨了。好了，闲话不多说。今天主要写的是一个关于在transfer learning的时候，需要注意的问题。虽然是一个看似不起眼的细节，但是须知这些小小的细节有时候却能左右DL的learning过程，从而对最后的模型产生潜移默化的影

2017-11-02 21:45:15 2422

PRML 模式识别与机器学习（英文）

PRML 模式识别与机器学习

2017-08-01

Python numpy

直接下载双击即可安装numpy，免去考虑compile的麻烦。关于scipy的安装（也比较麻烦）也有类似的软件，具体请见我的blog

2016-04-24

提高matlab代码速度的Tips

To speed up your matlab code, which is downloaded from UFLDL website

2016-04-14

UFLDL exercise9 Convolution and Pooling

In this exercise you will use the features you learned on 8x8 patches sampled from images from the STL-10 dataset in the earlier exercise on linear decoders for classifying images from a reduced STL-10 dataset applying convolution and pooling. The reduced STL-10 dataset comprises 64x64 images from 4 classes (airplane, car, cat, dog).

2016-04-13

UFLDL exercise8 Linear Decoder

In this exercise, you will implement a linear decoder (a sparse autoencoder whose output layer uses a linear activation function). You will then apply it to learn features on color images from the STL-10 dataset. These features will be used in an later exercise on convolution and pooling for classifying STL-10 images.

2016-04-12