MLSys
文章平均质量分 96
MLSys
Adenialzz
Keep Learning.
展开
-
动手实现CNN
动手实现CNN原创 2022-09-27 20:39:53 · 2092 阅读 · 0 评论 -
动手实现一个带自动微分的深度学习框架
动手实现一个带自动微分的深度学习框架转载 2022-09-09 21:17:01 · 442 阅读 · 0 评论 -
机器学习:系统设计与实现 分布式训练
机器学习:系统设计与实现 分布式训练转载 2022-06-06 17:20:06 · 2557 阅读 · 0 评论 -
机器学习系统:设计与实现 计算图
机器学习系统:设计与实现 计算图转自:https://openmlsys.github.io/chapter_computational_graph/index.html在上一章节中,我们展示了用户利用机器学习框架所编写的程序。这些用户程序包含了对于训练数据,模型和训练过程的定义。然而为了运行这些程序,机器学习系统依然需要解决诸多问题,包括:如何高效执行一个复杂的机器学习模型?如何识别出机器学习模型中需要训练的参数?如何自动计算更新模型所需的梯度?为了解决这些问题,现代机器学习框架实现计算图*(Comp转载 2022-04-05 16:09:17 · 1855 阅读 · 2 评论 -
从头搭建一个深度学习框架
从头搭建一个深度学习框架转自:Build a Deep Learning Framework From Scratch代码:https://github.com/borgwang/tinynn当前深度学习框架越来越成熟,对于使用者而言封装程度越来越高,好处就是现在可以非常快速地将这些框架作为工具使用,用非常少的代码就可以进行实验,坏处就是可能背后地实现都被隐藏起来了。在这篇文章里笔者将带大家一起从头设计和实现一个轻量级的(大约 200 行)、易于扩展的深度学习框架 tinynn,希望对大家了解深转载 2022-04-10 15:36:44 · 1063 阅读 · 0 评论 -
混合精度训练
混合精度训练转自:https://zhuanlan.zhihu.com/p/441591808通常我们训练神经网络模型的时候默认使用的数据类型为单精度FP32。近年来,为了加快训练时间、减少网络训练时候所占用的内存,并且保存训练出来的模型精度持平的条件下,业界提出越来越多的混合精度训练的方法。这里的混合精度训练是指在训练的过程中,同时使用单精度(FP32)和半精度(FP16)。1 浮点数据类型根据IEEE二进制浮点数算术标准(IEEE 754)的定义,浮点数据类型分为双精度(Fp64)、单精度(Fp转载 2022-04-07 09:36:22 · 1441 阅读 · 0 评论