epoch训练时间不同_如果标准问题非常多,例如十万标准问题,那么每次epoch,验证验证集非常慢。因为是十万类的分类问题。请问你们有用到十万标准问题的训练集吗?这么慢如何处理?...

该博客探讨了在使用LCMC数据集进行模型验证时遇到的效率问题。作者提出,由于每个标记为1的句子对被用作标准集,导致类别过多,从而使得验证过程变得缓慢。文章内容涉及模型验证步骤,包括计算准确率和评估指标,以及可能的优化策略。
摘要由CSDN通过智能技术生成

if (train_batch_step + 1) % FLAGS.eval_every == 0:

# run_num = run_num + 1

# if run_num % 2 == 0:

# break

all_valid_acc_num = 0

all_valid_num = 0

valid_batches = data_help.valid_batch_iterator()

for _, valid_batch_q in enumerate(valid_batches):

all_valid_num = all_valid_num + len(valid_batch_q)

valid_batch = (valid_batch_q, data_help.std_batch)

valid_prob = sess.run([dssm.prob_pre], feed_dict=feed_dict_builder(valid_batch, 1.0, dssm))

valid_acc_num, real_labels, _ = cal_predict_acc_num(valid_prob[0], valid_batch_q,

data_help.id2label)

all_valid_acc_num = all_valid_acc_num + valid_acc_num

current_acc = all_valid_acc_num * 1.0 / all_valid_num

这段验证验证集非常慢。

例如想利用LCMC数据集,把每一个标记为1句子对抽出一个作为标准集的一个类。那么类别非常多。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值