七七的博客

1. 权重以及偏置的初始化影响很大。不能随便用标准正态分布直接初始化。数据量小的时候，用weights=tf.Variable(tf.random_normal([input_size,out_size]))*np.sqrt(1/float(input_size))bias=tf.Variable(tf.random_normal([1,out_size]))*np.sqrt(1/float(in...

最近调参调的很无力，从网上找了一些调参技巧总结一下，希望最自己精度提升有帮助。参考知乎：https://www.zhihu.com/question/250979930. 先把中间多余的计算去掉，等参数调好精度上去了再计算中间的。节省时间！！！1. 更多关注loss而不是acc。2. 先用小数据集进行计算，如果精度都没有上去，应该反思模型的是否正确。大网络小数据集一般都会过拟合，训练精度肯定不错。...

看了文章《Understanding the difficulty of training deep feedforward neural networks》,里面提出了两种参数初始化的方法：以及normalized initialization——xavier方法：最近做实验，发现网络的初始化太重要！其实神经网络本身就是一个dark box, 但是每一个参数怎么设置怎么调节是最有技术的。几种可行...

看有关神经网络代码的时候，层数太多，太复杂，就输出中间层的结构！！！看了好几天的代码没看懂，用了这个方法之后1小时就看完了！！！（有点像广告。。。？？？不过是真的！！！希望自己能够记住，专门写个帖子）...

cifar10结构：一共有32层：1. 第一个卷积层将输入数据（32*32*3）变为32*32*162. 下来是3种block, 每种有5个block块，每一块有2个卷积层（30层）3. 最后是一个全连接层（64*10）中间的block：每一种block中，第一个block的projecton为一个卷积操作，对数据维数进行变化，后面4个block块的projection都是identity。结构图...

1. 归一化2. PCA:3. ZCA对数据做白化处理必须满足两个条件：使数据的不同维度去相关；使数据每个维度的方差为1；条件1要求数据的协方差矩阵是个对角阵；条件2要求数据的协方差矩阵是个单位矩阵。为什么使用白化？教程给出的解释是：假设训练数据是图像，由于图像中相邻像素之间具有很强的相关性，所以用于训练时输入是冗余的。白化的目的就是降低输入的冗余性。比如在独立成分分析（ICA）中，对数据做白化预...

注： 这是一个学习笔记，不定时更新。里面用到的技巧： 1. max-norm regularization2. dropout 比例的设置，输入层 隐层都可以执行dropout；    输入层一般不使用，如果使用的话keep_prob=0.9;    中间层的keep_prob=0.5-0.8,常用0.53. 优化算法：动量+GD4. 隐单元的激活函数： sigmoid/ relu/ logist...