使用theano写mini-batch训练的BiLSTM

  • 最近在做毕设,数据量有点大,所以不得不使用mini-batch的训练方式,咨询了同学,mini-batch的原理好像比较简单,就是取batch里句子最长的长度,然后加一个标记每个句子长度的mask矩阵,lstm每次scan的时候把中间的c和h的值过一下mask,废话不多说了,下面看代码:
  • 首先我初始化了模型需要的参数:
W_value = numpy.asarray(rng.uniform(
    low = -initialize_range,
    high = initialize_range,
    size = (2, 4, n_in, n_h)), dtype = theano.config.floatX)
W_s = theano.shared(value = W_value, name = "W_s", borrow = True)

U_value = numpy.asarray(rng.uniform(
    low = -initialize_range,
    high = initialize_range,
    size = (2, 4, n_h, n_h)), dtype = theano.config.floatX)
U_s = theano.shared(value = U_value, name = "U_s", borrow = True)

b_value = numpy.asarray(rng.uniform(
    low = -initialize_range,
    high = initialize_range,
    size = (2, 4, n_h)), dtype = theano.config.floatX)
b_s = theano.shared(value = b_value, name = "b_s", borrow = True)

v_o_value = numpy.asarray(rng.uniform(
    low=-initialize_range,
    high=initialize_range,
    si
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值