EAST-icdar.py-get_batch

前言

今天是model的最后一部分了,整个icdar就剩最后这一段了,前面自定义部分也在前面的部分中大多数带到了。

代码

def get_batch(num_workers, **kwargs):
    #**kwargs:形参中按照关键字传值把多余的传值以字典的方式呈现
    '''
    在实现按批次处理??
    将各张图片以三个对象压人队列信息进行处理(内部主要实现了多线程,并没有具体处理??)
    :param num_workers:
    :param kwargs:
    :return:
    '''
    try:
        enqueuer = GeneratorEnqueuer(generator(**kwargs), use_multiprocessing=True)
        #传入的第一个参数为迭代器
        enqueuer.start(max_queue_size=24, workers=num_workers)
        generator_output = None
        while True:
            while enqueuer.is_running():
                if not enqueuer.queue.empty():
                    generator_output = enqueuer.queue.get()
                    #put放进去 get拿出来
                    #拿到处理图片的某一进程
                    break
                else:
                    time.sleep(0.01)
            yield generator_output
            generator_output = None
    finally:
        #finally块的作用就是为了保证无论出现什么情况,finally块里的代码一定会被执行。
        #结束进程
        if enqueuer is not None:
            enqueuer.stop()

作用

利用多线程生成数据:当CPU读取数据跟不上GPU处理数据速度时候可以考虑这种方式,这种方法的好处是数据接口简单而且可以大幅加快网络训练时间。特别是针对服务器端超多核CPU配置。实验证实,该方法可以大大提升GPU的利用率。这段的代码主要是一个:batch生成器。至于GeneratorEnqueuer的定义直接调用的现成的:

from data_util import GeneratorEnqueuer

网上也有自定义的版本,而关于batch生成器的定义也是大同小异。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值