CPT: Efficient Deep Neural Network Training via Cyclic Precision

最新推荐文章于 2022-12-21 09:23:19 发布
最新推荐文章于 2022-12-21 09:23:19 发布
阅读量390 收藏
点赞数
分类专栏： paper reading 深度学习 量化压缩 文章标签： 深度学习 量化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xieyi4650/article/details/117789210
版权

论文地址
代码地址

论文背景

  • Yonggan Fu, Han Guo, Xin Yang, Yining Ding & Yingyan Lin
    电子与计算机工程系, 莱斯大学

  • Meng Li & Vikas Chandra, Facebook

看起来都是中国人, 不过都是国外的大学和公司

  • 期刊/会议: 发表在ICLR 2021

贡献

提出了循环精度训练(CPT)，以循环改变两个边界值之间的精度，这两个边界可以在前几轮训练时, 使用简单的精度范围测试来识别.

  • 和学习率类似, 可以使用动态精度来训练模型, 大学习率对应低精度帮助更好的泛化以及寻找更优的解, 小学习率对应高精度, 可以提准确率帮助模型收敛. (感觉也有道理, 当精度变低时, 每次调整时的步长也会不一样, 跟lr的作用确实有点类似)
  • 提出循环精度训练(Cyclic Precision Training , CPT), 寻找精度和训练效率的trade off. 并且循环精度的边界是可以通过简单的精度范围测试来获取.Precision Range Test (PRT)
  • 在分类和语言模型上得到验证, 另外还可视化了loss.

验证猜想

表 1

  • Hypothesis 1: DNN’s pre

最低0.47元/天 解锁文章
Ruff_XY
关注
专栏目录
MIX-CPT: 一种通过解耦知识学习和格式对齐的领域适应框架
步子哥的博客
07-17 57
知识混合持续预训练高效格式对齐在第一阶段,我们对混合数据(包括原始领域相关文档、通用指令和对齐数据)进行持续预训练,采用统一的文本格式。我们的目标是利用通用指令数据在持续预训练过程中更好地激发知识记忆和利用能力。为了避免预训练中的灾难性遗忘,我们设计了一种新的学习方法 - 逻辑交换自蒸馏(Logit Swap Self-Distillation, LSSD),它交换预测概率最高的token的logit值和真实token的logit值。
CPT模型：一种中文兼顾NLU和NLG的非平衡预训练语言模型
lc_love_ty的博客
06-11 1294
在该篇论文中，提出了一种新的中文预训练非平衡变压器CPT，它同时适用于NLU和NLG任务。
【NIPS2020】时空序列、时间序列、异常检测相关papers
AI蜗牛车
10-31 7324
前段时间 没事刷paper， 把时间序列，时空序列，异常检测的paper稍微聚集了一下，当然可能存在不对称的paper~ 希望大家别太在意~整理的比较松散，大部分正在readingSel...
【论文推荐】了解《对抗学习》必看的6篇论文（附打包下载地址）
weixin_48294000的博客
02-28 866
论文推荐“SFFAI139期来自美国莱斯大学的傅泳淦推荐的文章主要关注于基础研究的对抗学习领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”关注文章公众号回复"SFFAI13...
清华刘知远提出CPT：基于预训练视觉-语言模型的跨模态Prompt-Tuning
zenRRan的博客
09-28 1724
每天给你送来NLP技术干货！论文：CPT：Colorful Prompt Tuning for Pre-Training Vision-Language Models状态：Work in ...
Accelerating deep convolutional networks using low-precision and sparsity
holmosaint的博客
09-02 345
（这篇blog不涉及文中所探讨的dLAC设计的内容） 这篇文章旨在不影响其准确率的情况下提高deep CNN的计算效率。作者采用了两种方法：1.使用2-bit代替原来的full precision进行训练和inference；2.跳过过于zero value的计算。 1 low-precision deep CNN 作者使用了先前研究者提出的ternary network的框架，使用2-bi...
CPT：刷爆少样本REC任务！清华刘知远团队提出跨模态预训练Prompt Tuning
我爱计算机视觉
01-18 1973
关注公众号，发现CV技术之美本文分享论文『CPT: Colorful Prompt Tuning for Pre-trained Vision-Language Models』，由清华刘知...
范登堡（van den berg）CPT使用记录
最新发布
Xiaok的专栏
12-21 1061
经过检查，问题出在探杆的组装上，探杆比外部护套长，多出了1-2cm，这样以来，探杆在推进的时候，无法完全解锁卡扣。将护套拆开，里面的探杆分上下两个部分，通过活塞相连，可能是活塞里面的螺纹有损伤，探杆上部拧不到活塞底部，因此，上部探杆推不到底，无法完全解锁。作业时，CPT探杆上的液压装置将探针回收，CPT绞车将探杆吊放至作业套管内，探杆到达预定位置后进行探针推进作业。（2）安装CPT探杆护套，将探杆放在专门的护套里待用，此时，可以安装探针，测试探杆推进和回收是否正常，检查探针的状态是否正常，也可更换探针等。
CPT:[ICLR 2021]“ CPT
03-30
标题中的"CPT"是一个缩写，全称为"Cycle Precision Training"，这是一个在ICLR 2021（国际计算语言学会议）上被接受的研究工作。这个方法聚焦于深度神经网络（DNNs）的高效训练，特别是通过一种名为“循环精度”...
CPT:phpBB，WordPress和您的自定义网站，合并在一个平台中！
04-29
阅读“安装”以获取有关如何安装CPT的信息。 或者，您可以使用cptinstall.sh在测试环境中安装CPT。 警告：此脚本不稳定，应谨慎使用。 对于此脚本对系统造成的任何损坏，UnliCrea概不负责。 === 开发者 ...
cs231n：assignment1——Q4: Two-Layer Neural Network
xieyi4650的博客
12-05 8164
自己写的cs231n的作业,希望给点意见,支出错误和不足.谢谢 参数调了好久,貌似也没什么太好的头绪,有一次调到57+%,当时没记参数,后来调不会来了two_layer_net.ipynb内容:Implementing a Neural NetworkIn this exercise we will develop a neural network with fully-connected lay
cs231n：assignment2——Q1: Fully-connected Neural Network
xieyi4650的博客
12-23 8032
视频里 Andrej Karpathy上课的时候说,这次的作业meaty but educational,确实很meaty,作业一般是由.ipynb文件和.py文件组成,这次因为每个.ipynb文件涉及到的.py文件较多,且互相之间有交叉,所以每篇博客只贴出一个.ipynb或者一个.py文件.(因为之前的作业由于是一个.ipynb文件对应一个.py文件,所以就整合到一篇博客里) 还是那句话,有错误
cs231n：assignment2——Q4: ConvNet on CIFAR-10
xieyi4650的博客
12-29 5540
视频里 Andrej Karpathy上课的时候说,这次的作业meaty but educational,确实很meaty,作业一般是由.ipynb文件和.py文件组成,这次因为每个.ipynb文件涉及到的.py文件较多,且互相之间有交叉,所以每篇博客只贴出一个.ipynb或者一个.py文件.(因为之前的作业由于是一个.ipynb文件对应一个.py文件,所以就整合到一篇博客里) 还是那句话,有错
cs231n：assignment2——Q2: Batch Normalization
xieyi4650的博客
12-23 5455
视频里 Andrej Karpathy上课的时候说,这次的作业meaty but educational,确实很meaty,作业一般是由.ipynb文件和.py文件组成,这次因为每个.ipynb文件涉及到的.py文件较多,且互相之间有交叉,所以每篇博客只贴出一个.ipynb或者一个.py文件.(因为之前的作业由于是一个.ipynb文件对应一个.py文件,所以就整合到一篇博客里) 还是那句话,有错误
cs231n：assignment1——Q5: Higher Level Representations: Image Features
xieyi4650的博客
12-05 4423
自己写的cs231n的作业,希望给点意见,支出错误和不足.谢谢 featuresipynb内容 Image features exercise Load data Extract Features Train SVM on features Inline question 1 Neural Network on image features Bonus Design your own feature
cs231n：assignment1——Q1: k-Nearest Neighbor classifier（自动生成版）
xieyi4650的博客
11-13 4345
作业文件地址下载（添加百度云链接） 作业一其他问题：（添加其他问题的博客地址） Training a Support Vector Machine（添加地址） Implement a Softmax classifier （添加地址） Two-Layer Neural Network （添加地址） Higher Level Representations: Image Features（添加地址）
cs231n：assignment1——Q2: Training a Support Vector Machine
xieyi4650的博客
11-13 4312
作业文件地址下载（添加百度云链接） 作业一其他问题：（添加其他问题的博客地址） Training a Support Vector Machine（添加地址） Implement a Softmax classifier （添加地址） Two-Layer Neural Network （添加地址） Higher Level Representations: Image Features（添加地址）
cs231n：assignment2——python文件：fc_net.py
xieyi4650的博客
12-29 3887
视频里 Andrej Karpathy上课的时候说,这次的作业meaty but educational,确实很meaty,作业一般是由.ipynb文件和.py文件组成,这次因为每个.ipynb文件涉及到的.py文件较多,且互相之间有交叉,所以每篇博客只贴出一个.ipynb或者一个.py文件.(因为之前的作业由于是一个.ipynb文件对应一个.py文件,所以就整合到一篇博客里) 还是那句话,有错
TouchXpress CPT212B：低功耗触摸芯片解决方案
"CPT212B是一款低功耗的触摸芯片，属于TouchXpress系列，主要用于简化并加速通过I2C接口添加电容式触摸功能，减少了对电容感应应用的开发时间和复杂性。这款芯片支持多达12个电容式传感器输入，封装小至3mm x 3mm ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值