推荐开源项目：POET - 私人最优能量训练

推荐开源项目：POET - 私人最优能量训练

poetML model training for edge devices 项目地址:https://gitcode.com/gh_mirrors/poet4/poet

在移动设备上训练先进的机器学习模型一直是一个挑战，但随着POET（Private Optimal Energy Training）的出现，这个问题得到了有效的解决。这个开源项目由伯克利大学的研究团队开发，旨在让智能手机和其他边缘设备也能训练内存占用大的SOTA模型，如BERT和ResNets。

项目介绍

POET的核心是集成张量重制和二级存储的分页进/出策略。该项目在ICML 2022会议上发表的论文中详细介绍了这一创新技术，它通过一个混合整数线性规划（MILP）来确保找到的解决方案在有限内存条件下达到最优。

项目技术分析

1. 集成张量重制：POET智能地选择何时重新计算低成本运算，而将高成本运算的结果保存在辅助存储中。
2. 分页进/出策略：项目利用分页技术扩展有效内存容量，减少因频繁读写而导致的能量损耗。

这种独特的方法使得在资源受限的设备上进行深度学习训练变得可能且节能。

应用场景

1. 移动AI：让智能手机成为训练大模型的新平台，用户可以在自己的设备上创建和优化个性化的AI模型。
2. 边缘计算：在物联网设备如树莓派、ARM Cortex-M和A系列处理器上训练模型，实现本地化和实时的数据处理。
3. 穿戴设备：如Fitbit等可穿戴设备可以利用POET进行轻量化模型训练，提供更智能的功能。

项目特点

1. 优化效率：通过MILP求解器确保找到的训练方案是内存限制下的最优解，最大限度地降低能量消耗。
2. 易用性：提供简单的命令行接口和API，方便用户快速上手，轻松调用训练解决方案。
3. 兼容性广泛：支持多种硬件平台，包括GPU和各种边缘设备。
4. 学术友好：对于学术用户，提供了免费的Gurobi求解器试用，以提高求解速度和精度。

如果你想尝试在你的设备上训练大型模型，或对POET的工作原理感兴趣，不妨访问项目网站并查看详细的文档。现在就加入POET的行列，开启边缘设备上的高效、节能训练之旅吧！

[![](https://github.com/ShishirPatil/poet/blob/gh-pages/assets/img/logo.png)](https://github.com/ShishirPatil/poet)

poetML model training for edge devices 项目地址:https://gitcode.com/gh_mirrors/poet4/poet