- 博客(2)
- 收藏
- 关注
RSS订阅转载 Pytorch模型量化（一）：快速上手
模型量化（Quantization）是一种使用更低的数据位宽（bitwidths）进行计算和数据存储的技术，例如，可以将模型中的全部或者部分float32计算和权重转换为int8的计算或者权重。当然，这种转换通常是对已经训练好的模型进行的，换句话说，模型量化常运用在模型推理的过程中。int8所需的存储空间仅为float32的四分之一，并且硬件进行int8计算的速度通常是进行float32储存模型所需的硬盘空间或内存空间更小。从硬盘中加载模型到内存或显存的速度更快。
2023-10-17 16:29:18
481
转载 自监督表征@Notebook｜from MLM task to Contrastive Learning
在自然语言处理（NLP）领域，BERT的出现具有划时代的意义，它将预训练这一概念引入了人们的视野。预训练借助一些自监督任务从输入数据中提取更本质的表征信息，这些信息具有很强的泛化能力，对其他相关下游任务具有显著的帮助。为了解答以上问题，我们从MLM任务表征的分布缺陷（词向量的各向异性）出发，探讨模型结构和训练任务对自监督表征分布的影响，细致地来介绍一下自监督表征的另一个重要分支——对比学习的发展历程和经典结构。1）基于Transformer结构和MLM任务得到的表征就是最好的表征了吗？
2023-10-16 16:58:03
53
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人