欢迎使用CSDN-markdown编辑器

一. batch_size的用途

batch可以理解为每次迭代神经网络参数时梯度下降中求和的个数,反应到输入中就是训练样本的个数,每个样本贡献一个梯度算子,累加后乘以学习率构成参数更新的方向。

  • 数据集过小时,可以采用全数据集的形式,更准确地朝向极值所在的方向迭代
  • 数据集过大,考虑到内存以及运算速度等因素,必须设置batch_size,对应的就是批梯度下降算法
  • 关于参数设置:1.一般根据GPU大小设置为最大,且为8的倍数,GPU并行效率高;2. 选择部分数据,设置不同batch,通过loss减小来调整batch

二. 激活函数

一般具有一下性质:非线性,可微性,单调性,对于输出值范围, 当激活函数输出值是 有限 的时候,基于梯度的优化方法会更加 稳定,因为特征的表示受有限权值的影响更显著;当激活函数的输出是 无限 的时候,模型的训练会更加高效,不过在这种情况小,一般需要更小的learning rate.目前大致有一下四类:

  1. sigmoid: 输入过大或者过小容易造成神经元饱和,at LSTM
  2. tanh: 部分使用,优于sigmoid, at LSTM
  3. Relu: 卷积神经网络 中使用,匹配SGD效果更佳,有如下优势:

    • 收敛速度快 和sigmoid函数需要计算指数和倒数相比,relu函数其实就是一个max(0,x),计算代价小很多。
    • 减轻梯度弥散 sigmoid函数的导数最大值为1/4,在值为 0 或 1 的时候接近饱和,梯度几乎为 0,深度网络反向传播时会越来越小;relu导数为1,梯度不会变小,更适合深度网络
    • 稀疏性 采用sigmoid激活函数的人工神经网络,其激活率大约是50%。有论文声称人工神经网络在15%-30%的激活率时是比较理想的。relu函数在输入小于0时是完全不激活的,因此可以获得一个更低的激活率,而非常大的梯度经过神经元时,神经元不会再激活。
    • 神经元死亡 ReLU 单元在训练中将不可逆转的死亡, Leaky ReLU 以及 Maxout 解决此问题。
  4. softmax: 计算简单,效果显著,非常好用,输出的分类其实就是全空间的概率分布(caffe输出层选用)

三. 关于Alphago

  • 初始训练集:利用游戏中的对局训练CNN,根据当前棋局状态计算出人类选手可能在棋盘上落子的概率分布a = P_human(s)
  • 利用MCTS蒙特卡洛搜索树,P_human与代替随机下子,10万盘棋推演更新的落字方案后,选择最大概率的落子
  • 蒙特卡洛搜索树中初期用P_human与P_human对弈,根据胜负得到评价函数,即加入了强化学习。考虑到P_human运算速度慢,利用了局部特征匹配和逻辑回归加速,对应策略为P_human_plus,代入蒙特卡洛搜索树中的后期阶段。

主要参考:
https://zhuanlan.zhihu.com/p/27763696
https://zhuanlan.zhihu.com/p/20607684
https://www.zhihu.com/question/41176911/answer/90118097
https://deeplearning4j.org/cn/lstm

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值