MXNet 多rec参与训练

原创于 2017-11-08 13:56:46 发布 · 703 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#MXNet

深度学习专栏收录该内容

10 篇文章

订阅专栏

本文详细介绍了如何使用MXNet框架进行多GPU协同训练，通过并行计算加速深度学习模型的训练过程，提高训练效率。内容涵盖了数据并行、模型并行以及混合并行策略，帮助开发者理解如何在MXNet中实现高效的分布式训练。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下面是内容只是简写

import mxnet as mx
import numpy as np
class Mix(mx.io.DataIter):
    def __init__(self, paths, **kwargs):
        super(Mix, self).__init__()
        self.flags = range(len(paths))
        self.numbers = {}.fromkeys(self.flags, 0)
        self.generator = lambda x : mx.io.ImageRecorIter(x, **kwargs)
        self.recs = map(self.generator, paths)

    def reset(self):
        for rec in self.recs:
            rec.reset()
        self.flags = range(len(self.recs))

    def next(self):
        while(self.flags):
            idx = np.random.chioce(self.flags)
            try:
                self.batch = self.recs[idx].next()
            expect StopIteration:
                self.flags.remove(idx)
                if not self.flags:
                    raise StopIteration
                continue
            break
        .......