论文阅读
文章平均质量分 94
收纳论文笔记
zoetu
欢迎交流探讨~ (ps要资料/咨询问题请直接表明问题出处及已尝试的解决方案,以便更快速解决您的问题)
展开
-
【论文阅读】A Simple Hash-Based Early Exiting Approach For Language Understanding and Generation
改进EE,哈希函数替换learn-to-exit模块,无需中间分类器,实现批量推理原创 2023-07-18 17:14:16 · 166 阅读 · 0 评论 -
【论文阅读】Accelerating Inference for Pretrained Language Models by Unified Multi-Perspective Early Exiti
EE+skipping gate,交叉对比学习训练原创 2023-07-18 17:10:10 · 158 阅读 · 0 评论 -
【论文阅读】Knowledge Distillation with Reptile Meta-Learning for Pretrained Language Model Compression
KD损失改进+教师模型的梯度更新方式改进+教师模型参数更新策略原创 2023-07-18 17:06:33 · 148 阅读 · 0 评论 -
【论文阅读】COST-EFF: Collaborative Optimization of Spatial and Temporal Efficiency with Slenderized Multi
剪枝+KD+EE原创 2023-07-18 17:01:41 · 150 阅读 · 0 评论 -
【论文阅读】SKDBERT: Compressing BERT via Stochastic Knowledge Distillation
多教师KD,固定教师模型采样概率分布,保留教师模型多样性,减少模型容量差距的影响。原创 2023-07-03 21:06:31 · 547 阅读 · 0 评论 -
【论文阅读】SmartBERT: A Promotion of Dynamic Early Exiting Mechanism for Accelerating BERT Inference
ee+skipping gate,对比学习训练机制,软硬权重融合训练原创 2023-07-03 21:07:01 · 277 阅读 · 0 评论 -
【论文阅读】Tailoring Instructions to Student’s Learning Levels Boosts Knowledge Distillation
ACL 2023, main conference原创 2023-06-06 13:47:21 · 245 阅读 · 0 评论 -
【论文阅读】1_A Survey on Model Compression and Acceleration for Pretrained Language Models
模型压缩与加速的最新综述原创 2023-04-26 22:04:06 · 288 阅读 · 1 评论 -
【论文阅读】2_A Survey on Model Compression and Acceleration for Pretrained Language Models
模型压缩与加速综述2,关于method和future部分。原创 2023-04-27 15:44:06 · 489 阅读 · 1 评论 -
【论文阅读】A Survey on Dynamic Neural Networks for Natural Language Processing
动态神经网络综述原创 2023-05-06 20:49:15 · 604 阅读 · 1 评论 -
【论文分享】AF2:Highly accurate protein structure prediction with AlphaFold
以AlphaFold的论文原文“Highly accurate protein structure prediction with AlphaFold”为主题,结合openfold,esmfold等多个结构预测算法,进行蛋白质三维结构预测的算法细节以及模型训练过程。原创 2022-12-13 17:19:04 · 1309 阅读 · 0 评论 -
【论文阅读】SensiMix: Sensitivity-Aware 8-bit index & 1-bit value mixed precision quantization for BERT co
SensiMix: Sensitivity-Aware 8-bit index & 1-bit value mixed precision quantization for BERT compression原创 2022-12-05 16:28:21 · 199 阅读 · 1 评论 -
【论文阅读】MINILM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transfor
蒸馏teacher模型最后一层Transformer的自注意力模块、引入助教模型提升蒸馏效果原创 2022-11-04 10:38:09 · 431 阅读 · 1 评论 -
【论文阅读】From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression
CAP在剪枝模型中同时保持了任务不确定和任务相关的知识,有助于缓解灾难性问题,并在剪枝过程中保持模型的性能,特别是在高稀疏度的情况下。CAP基于对比学习,被证明是一种强大的表征学习技术。原创 2022-09-25 17:54:51 · 735 阅读 · 2 评论 -
【论文阅读】Structured Pruning Learns Compact and Accurate Models
作者提出的结构化剪枝方法CoFi在几乎没有太多精度损失的情况下,达到了10倍以上的加速比。同时,和常规的蒸馏做法相比,避免使用大量无标签数据预训练模型而导致训练成本过高的问题。原创 2022-09-23 23:13:45 · 853 阅读 · 3 评论 -
【论文分享】A White Paper on Neural Network Quantization【4、5】QAT部分和总结讨论
A White Paper on Neural Network Quantization【4、5】QAT部分和总结讨论原创 2022-09-16 11:49:10 · 1314 阅读 · 0 评论 -
【论文分享】A White Paper on Neural Network Quantization【3】PTQ部分
A White Paper on Neural Network Quantization【3】PTQ训练后量化原创 2022-09-16 11:36:52 · 1323 阅读 · 0 评论 -
【论文阅读】I-BERT: Integer-only BERT Quantization
I-BERT提出近似非线性函数的方法,实现全整数推理,推理速度比FP32提高了2.4 ~ 4.0倍原创 2022-07-28 11:42:45 · 432 阅读 · 0 评论 -
【论文阅读】Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT
Q-BERT提出Hessian信息的混合精度量化和组量化, 达到了 13 倍的权重压缩率,激活大小和嵌入大小仅为原来的 1/4,且准确率损失在 2.3% 以内。原创 2022-07-28 11:15:08 · 466 阅读 · 1 评论 -
【论文阅读】8-BIT OPTIMIZERS VIA BLOCK-WISE QUANTIZATION
Facebook提出本文支持pytorch的8位优化器,既可以减小内存占用还能保持和32位优化器相当的正确性。原创 2022-07-13 00:42:25 · 607 阅读 · 0 评论 -
【论文分享】A White Paper on Neural Network Quantization【1,2】引言和基础知识
A White Paper on Neural Network Quantization【1,2】引言和基础知识原创 2022-06-27 11:58:39 · 862 阅读 · 0 评论 -
【论文阅读】Q8BERT: Quantized 8Bit BERT
基于语言模型的预训练Transformer在许多NLP任务上有明显提升,但是当前Transformer模型追求大模型及高精度,需要大量的计算、内存资源。因此,需要压缩模型以节约成本再部署在生产环境。本文的工作展示如何在BERT微调阶段引入量化训练,将BERT压缩4倍且精度损失最小。...原创 2022-06-25 16:19:27 · 431 阅读 · 1 评论 -
【论文阅读】ReDoSHunter: A Combined Static and Dynamic Approach for Regular Expression DoS Detection
本文提出了ReDoSHunter ——一个ReDoS-vulnerable正则表达式检测框架:可以确定多个漏洞的根本原因,并生成attack-triggering字符串。原创 2022-05-26 14:52:19 · 880 阅读 · 3 评论 -
【论文阅读】Packet Classification on Multiple Fields
Pankaj Gupta and Nick McKcown在1999年发表一个简单的多级分类算法,称为RFC(递归流分类),在流水线可以每秒处理100万个数据包。原创 2022-05-07 15:38:38 · 727 阅读 · 0 评论 -
【课程作业】Adversary Instantiation: Lower Bounds for Differentially Private Machine Learning论文阅读报告
发表在SP2021会议上的Adversary Instantiation: Lower Bounds for Differentially Private Machine Learning论文阅读,论文主要是机器学习的差分隐私的下限研究,本文主要是实验部分的阐述。原创 2022-04-28 13:12:10 · 651 阅读 · 1 评论 -
【论文阅读】A Memory-Efficient Deterministic Finite Automaton-Based Bit-Split String Matching Scheme
A Memory-Efficient Deterministic Finite Automaton-Based Bit-Split String Matching Scheme Using PatternUniqueness in Deep Packet Inspection原创 2022-04-16 15:42:39 · 494 阅读 · 0 评论 -
【P4论文分享】基于P4的可编程数据平面研究及其应用
P4综述论文学习,了解P4架构和发展前景,文章发布于2019年,仅具有一定的参考价值原创 2022-03-13 11:28:20 · 7362 阅读 · 4 评论 -
【P4论文分享】P4: Programming Protocol-IndependentPacket Processors
本文致力于将解决OpenFlow定义新协议的困难,根据抽象转发模型定义了一种用于交换机数据包处理的语言P4,该语言具有现场可重构、协议无关性和目标无关性的特性。原创 2022-03-03 19:53:49 · 2773 阅读 · 0 评论 -
【课程作业】情感分析方向SKEP: Sentiment Knowledge Enhanced Pretraining for Sentiment Analysis阅读报告
百度发表在ACL2020会议的SKEP情感分析预训练模型原创 2021-12-02 16:11:53 · 1490 阅读 · 0 评论