一. batch_size的用途
batch可以理解为每次迭代神经网络参数时梯度下降中求和的个数,反应到输入中就是训练样本的个数,每个样本贡献一个梯度算子,累加后乘以学习率构成参数更新的方向。
- 数据集过小时,可以采用全数据集的形式,更准确地朝向极值所在的方向迭代
- 数据集过大,考虑到内存以及运算速度等因素,必须设置batch_size,对应的就是批梯度下降算法
- 关于参数设置:1.一般根据GPU大小设置为最大,且为8的倍数,GPU并行效率高;2. 选择部分数据,设置不同batch,通过loss减小来调整batch
二. 激活函数
一般具有一下性质:非线性,可微性,单调性,对于输出值范围, 当激活函数输出值是 有限 的时候,基于梯度的优化方法会更加 稳定,因为特征的表示受有限权值的影响更显著;当激活函数的输出是 无限 的时候,模型的训练会更加高效,不过在这种情况小,一般需要更小的learning rate.目前大致有一下四类:
- sigmoid: 输入过大或者过小容易造成神经元饱和,at LSTM
- tanh: 部分使用,优于sigmoid, at LSTM
Relu: 卷积神经网络 中使用,匹配SGD效果更佳,有如下优势:
- 收敛速度快 和sigmoid函数需要计算指数和倒数相比,relu函数其实就是一个max(0,x),计算代价小很多。
- 减轻梯度弥散 sigmoid函数的导数最大值为1/4,在值为 0 或 1 的时候接近饱和,梯度几乎为 0,深度网络反向传播时会越来越小;relu导数为1,梯度不会变小,更适合深度网络
- 稀疏性 采用sigmoid激活函数的人工神经网络,其激活率大约是50%。有论文声称人工神经网络在15%-30%的激活率时是比较理想的。relu函数在输入小于0时是完全不激活的,因此可以获得一个更低的激活率,而非常大的梯度经过神经元时,神经元不会再激活。
- 神经元死亡 ReLU 单元在训练中将不可逆转的死亡, Leaky ReLU 以及 Maxout 解决此问题。
softmax: 计算简单,效果显著,非常好用,输出的分类其实就是全空间的概率分布(caffe输出层选用)
三. 关于Alphago
- 初始训练集:利用游戏中的对局训练CNN,根据当前棋局状态计算出人类选手可能在棋盘上落子的概率分布a = P_human(s)
- 利用MCTS蒙特卡洛搜索树,P_human与代替随机下子,10万盘棋推演更新的落字方案后,选择最大概率的落子
- 蒙特卡洛搜索树中初期用P_human与P_human对弈,根据胜负得到评价函数,即加入了强化学习。考虑到P_human运算速度慢,利用了局部特征匹配和逻辑回归加速,对应策略为P_human_plus,代入蒙特卡洛搜索树中的后期阶段。
主要参考:
https://zhuanlan.zhihu.com/p/27763696
https://zhuanlan.zhihu.com/p/20607684;
https://www.zhihu.com/question/41176911/answer/90118097;
https://deeplearning4j.org/cn/lstm