IBM研究出大数据机器学习解决方案 为现存有限内存训练方法的10倍

研究团队为训练数据集标记重要性，只训练重要的资料，那多数不必要的数据就不再需要送进GPU，大大节省数据传输时间。

IBM研究院与瑞士洛桑联邦理工学院共同于2017 NIPS Conference发表大数据机器学习解决方案，此方法可以利用GPU在一分钟内处理完30GB的训练数据集，是现存有限内存训练方法的10倍。

研究团队表示，机器训练在大资料时代遇到的挑战是动辄TB等级起跳的训练数据，这是常见却又棘手的问题，或许一台有足够内存容量的服务器，就能将所有训练数据都加载内存中进行运算，但是仍要花费数小时，甚至是数周。

他们认为，目前如GPU等特殊的运算硬件，的确能有效加速运算，但仅限于运算密集的工作，而非数据密集的任务。如果想要善用GPU运算密集的优势，便需要把数据预先加载到GPU内存，而目前GPU内存的容量最多只有16GB，对于机器学习实作来说并不算宽裕。

批次作业看似是一个可行的方法，将训练数据切分成一块一块，并且依造顺序加载至GPU做模型训练，不过经实验发现，从CPU将资料搬移进GPU的传输成本，完全盖过将数据放进GPU高速运算所带来的好处。，IBM研究员Celestine Dünner表示，在GPU做机器学习最大的挑战，就是不能把所有的数据都丢进内存里面。

为了解决这样的问题，研究团队开发为训练数据集标记重要性的技术，因此训练只使用重要的数据，那多数不必要的数据就不需要送进GPU，藉此大大节省训练的时间。像是要训练分辨狗与猫图片的模型，一旦模型发现猫跟狗的差异之一为猫耳必定比狗小，系统将保留这项特征，在往后的训练模型中都不再重复回顾这个特征，因此模型的训练会越来越快。IBM研究员Thomas Parnell表示，这样的特性便于更频繁的训练模型，也能更及时的调整模型。

这个技术是用来衡量每个数据点对学习算法的贡献有多少，主要利用二元差距的概念并及时影响调整训练算法。将这个方法实际应用，研究团队在异质平台（Heterogeneous compute platforms）上，为机器学习训练模型开发了一个全新可重复使用的组件DuHL，专为二元差距的异质学习之用。

IBM表示，他们的下一个目标是在云端上提供DuHL，因为目前云端GPU服务的计费单位是小时，如果训练模型的时间从十小时缩短为一小时，那成本节省将非常惊人。

文章出自：LHF利豪发娱乐 http://yearlead.com.tw/

转载于:https://my.oschina.net/u/3746626/blog/1588018