数据太大python跑不动怎么办_使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?...

PyTorch提速原始文档：https://www.yuque.com/lart/ugkv9f/ugysgn

声明：大部分内容来自知乎和其他博客的分享，这里只作为一个收集罗列。欢迎给出更多建议。 知乎回答(欢迎点赞哦)：

搬运到了github上：https://github.com/lartpang/PyTorchTricks

有喜欢的可以三连下，或者继续补充哦！pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？ - 人民艺术家的回答 - 知乎 https://www.zhihu.com/question/307282137/answer/907835663

使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办? - 人民艺术家的回答 - 知乎 https://www.zhihu.com/question/356829360/answer/907832358

changelog2019年11月29日：更新一些模型设计技巧和推理加速的内容，补充了下apex的一个介绍链接， 另外删了tfrecord，pytorch能用么？这个我记得是不能，所以删掉了(表示删掉:

2019年11月30日：补充MAC的含义，补充ShuffleNetV2的论文链接

2019年12月02日：之前说的pytorch不能用tfrecord，今天看到https://www.zhihu.com/question/358632497下的一个回答，涨姿势了

2019年12月23日：补充几篇关于模型压缩量化的科普性文章

2020年2月7日: 从文章中摘录了一点注意事项, 补充在了代码层面小节