Hardware-Aware-Transformers开源项目笔记

已于 2024-01-19 17:33:35 修改
阅读量1k 收藏 11
点赞数 22
文章标签： NAS transformer NLP
于 2024-01-18 16:41:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41021342/article/details/135678302
版权

文章目录

Hardware-Aware-Transformers开源项目笔记

开源项目

本文是基于论文《HAT: Hardware-Aware Transformers for Efficient Natural Language Processing》同步开源的项目整理的，如需更详细的内容，请移步至项目https://github.com/mit-han-lab/hardware-aware-transformers

背景知识

nas

Neural Architecture Search，神经网络结构搜索。

  1. 定义搜索空间；

  2. 执行搜索策略采样网络

    基于强化学习的方法

    基于进化算法的方法

    ​ 种群：针对当前问题的候选解集合

    ​ 母种群

    ​ 重组（Crossover）：交叉重组，两父代个体随机匹配并将部分结构加以替换重组形成新个体。

    ​ 突变种群(Mutation)：变异，以一定的概率对子代进行变异，引入新的基因。

    ​ 突变率

    基于梯度的方法

  3. 对采样的网络进行性能评估

进化算法

对网络结构进行编码，维护结构的集合（种群），

从种群中挑选结构训练并评估，留下高性能网络而淘汰低性能网络。

接下来通过预设定的结构变异操作形成新的候选，通过训练和评估后加入种群中，

迭代该过程直到满足终止条件（如达到最大迭代次数或变异后的网络性能不再上升）

进化算法代码示例

1.问题表示；

2.评估函数；

3.种群；

4.父代选择机制；

5.变异操作算子，包括重组和突变；

6.生存选择机制。

将loss作为优化目标。

图片名称

搜索算法如下所示：

注意搜索子网络的过程中没有训练

进化搜索参数

种群大小 125，母种群大小 25，重组 (Crossover) 种群大小 50，突变 (Mutation) 种群大小 50，0.3 突变几率。

每个硬件提供了2000个样本，按照8:1:1的方法划分数据集, 训练了一个三层的MLP。Latency Predictor只用在搜索过程中，在最后实验的时候还是用的真实测得的Latency。

开源项目Evolutionary Search

https://github.com/mit-han-lab/hardware-aware-transformers

训练好的SuperTransformer中进行进化搜索，并在搜索循环中增加硬件延迟约束。我们训练一个延迟预测器，以快速获得准确的延迟反馈。

1 生成延迟的数据集
python latency_dataset.py --configs=configs/[task_name]/latency_dataset/[hardware_name].yml
# for example
python latency_dataset.py --configs=configs/wmt14.en-de/latency_dataset/cpu_raspberrypi.yml

hardware_name 可以是 cpu_raspberrypi,cpu_xeon and gpu_titanxp.

--configs 文件为设计空间，在其中对模型进行采样以获得(model_architecture, real_latency)数据对。

--configs 文件示例如下

lat-dataset-path: ./latency_dataset/wmt14ende_gpu_titanxp.csv
lat-dataset-size: 2000
latgpu: True
latiter: 20 #循环20次获取硬件推理性能
latsilent: True
# below is the configs for the data point sampling space for the latency predictor

# model
arch: transformersuper_wmt_en_de
share-all-embeddings: True
max-tokens: 4096
data: data/binary/wmt16_en_de

# SuperTransformer configs
encoder-embed-dim: 640
decoder-embed-dim: 640
encoder-ffn-embed-dim: 3072
decoder-ffn-embed-dim: 3072
encoder-layers: 6
decoder-layers: 6
encoder-attention-heads: 8
decoder-attention-heads: 8

qkv-dim: 512
# SubTransformers search space
encoder-embed-choice: [640, 512]
decoder-embed-choice: [640, 512]

encoder-ffn-embed-dim-choice: [3072, 2048, 1024, 512]
decoder-ffn-embed-dim-choice: [3072, 2048, 1024, 512]

encoder-layer-num-choice: [6]
decoder-layer-num-choice: [6, 5, 4, 3, 2, 1]

encoder-self-attention-heads-choice: [8, 4, 2]
decoder-self-attention-heads-choice: [8, 4, 2]
decoder-ende-attention-heads-choice: [8, 4, 2]

# for arbitrary encoder decoder attention. -1 means attending to last one encoder layer
# 1 means last two encoder layers, 2 means last three encoder layers
decoder-arbitrary-ende-attn-choice: [-1, 1, 2]

latency_dataset目录中有该数据集示例，示例如下
在这里插入图片描述

wmt14ende_gpu_titanxp_all.csv中 的数据内容如下，共2000条数据

encoder_embed_dim, #640
encoder_layer_num, #6
encoder_ffn_embed_dim_avg, #1962.666
encoder_self_attention_heads_avg, # 6.0
decoder_embed_dim, #512
decoder_layer_num,  #4
decoder_ffn_embed_dim_avg, #1920.0
decoder_self_attention_heads_avg, #2.5
decoder_ende_attention_heads_avg, # 5.5
decoder_arbitrary_ende_attn_avg, #1.5

latency_mean_encoder, # 5.495
latency_mean_decoder,# 124.549 训练时使用时间为（latency_mean_encoder+latency_mean_decoder）/lat-norm
latency_std_encoder, #0.0519
latency_std_decoder #0.4439

#后4个参数来源np.mean(encoder_latencies), np.mean(decoder_latencies), np.std(encoder_latencies), np.std(decoder_latencies)
2 训练延迟预测器

使用上述收集的数据集训练一个预测器

python latency_predictor.py --configs=configs/[task_name]/latency_predictor/[hardware_name].yml
# for example
python latency_predictor.py --configs=configs/wmt14.en-de/latency_predictor/cpu_raspberrypi.yml --ckpt-path latency_dataset/ckpts/save.pt

–ckpt-path 保存预测器模型输出路径

--configs 文件中包含 预测器模型的结构和训练设置，内容示例如下:

lat-dataset-path: ./latency_dataset/wmt14ende_gpu_titanxp_all.csv #延时数据集
feature-norm: [640, 6, 2048, 6, 640, 6, 2048, 6, 6, 2]
lat-norm: 200 #训练时数据除以200，预测后再乘回来 
feature-dim: 10
hidden-dim: 400
hidden-layer-num: 3
ckpt-path: ./latency_dataset/predictors/wmt14ende_gpu_titanxp.pt
train-steps: 5000
bsz: 128
lr: 1e-5

在latency_dataset/predictors 目录中我们提供了预训练的预测器；

延时预测器输入与1中数据集格式一致)是：

1. Encoder layer number， 
2. Encoder Embedding dim，
3. Encoder hidden dim，
4. Encoder average self-attention heads，

5. Decoder layer number，
6. Decoder Embedding dim，
7. Decoder hidden dim

8. Decoder average self-attention heads，
9. average encoder-decoder attention heads，
10. average number of encoder: layers each decoder layer attends (每个decoder层关注的encoder层数量的均值)。

输出是：Predicted Latency。

运行截图示例如下
在这里插入图片描述
在这里插入图片描述

3 使延时约束运行搜索算法
python evo_search.py --configs=[supertransformer_config_file].yml --evo-configs=[evo_settings].yml
# for example
python evo_search.py --configs=configs/wmt14.en-de/supertransformer/space0.yml --evo-configs=configs/wmt14.en-de/evo_search/wmt14ende_titanxp.yml

  • –write-config-path是输出路径，保存搜索的subtransformer 结构的结果路径;

  • –configs 是SuperTranformer训练配置文件，包括搜索空间配置等，示例如下

# model
arch: transformersuper_wmt_en_de
share-all-embeddings: True
max-tokens: 4096
data: data/binary/wmt16_en_de #数据集

# training settings
optimizer: adam
adam-betas: (0.9, 0.98)
clip-norm: 0.0
weight-decay: 0.0
dropout: 0.3
attention-dropout: 0.1
criterion: label_smoothed_cross_entropy
label-smoothing: 0.1
ddp-backend: no_c10d
fp16: True
# warmup from warmup-init-lr to max-lr (warmup-updates steps); then cosine anneal to lr (max-update - warmup-updates steps)
update-freq: 16
max-update: 40000
warmup-updates: 10000
lr-scheduler: cosine
warmup-init-lr: 1e-7
max-lr: 0.001
lr: 1e-7
lr-shrink: 1
# logging
keep-last-epochs: 20
save-interval: 10
validate-interval: 10
# SuperTransformer configs
encoder-embed-dim: 640
decoder-embed-dim: 640
encoder-ffn-embed-dim: 3072
decoder-ffn-embed-dim: 3072
encoder-layers: 6
decoder-layers: 6
encoder-attention-heads: 8
decoder-attention-heads: 8
qkv-dim: 512
# SubTransformers search space
encoder-embed-choice: [640, 512]
decoder-embed-choice: [640, 512]
encoder-ffn-embed-dim-choice: [3072, 2048, 1024]
decoder-ffn-embed-dim-choice: [3072, 2048, 1024]
encoder-layer-num-choice: [6]
decoder-layer-num-choice: [6, 5, 4, 3, 2, 1]
encoder-self-attention-heads-choice: [8, 4]
decoder-self-attention-heads-choice: [8, 4]
decoder-ende-attention-heads-choice: [8, 4]
# for arbitrary encoder decoder attention. -1 means attending to last one encoder layer
# 1 means last two encoder layers, 2 means last three encoder layers
decoder-arbitrary-ende-attn-choice: [-1, 1, 2]

—evo-configs 包含进化搜索的设置 ，示例如下

#进化算法设置
evo-iter: 30
population-size: 125
parent-size: 25
mutation-size: 50
crossover-size: 50
mutation-prob: 0.3

# 延时预测器模型路径 
ckpt-path: ./latency_dataset/predictors/wmt14ende_gpu_titanxp.pt 
# feature-norm should match with that when train the latency predictor
feature-norm: [640, 6, 2048, 6, 640, 6, 2048, 6, 6, 2]
# lat-norm should match with that when train the latency predictor
lat-norm: 200
# supertransformer 权重路径
restore-file: ./downloaded_models/HAT_wmt14ende_super_space0.pt

# subtransformer配置路径
write-config-path: configs/wmt14.en-de/subtransformer/wmt14ende_titanxp@200ms.yml
# latency constraint
latency-constraint: 200

运行结构图示

在这里插入图片描述

4. 训练搜索得到的subTransformer

最后需要从头训练 SubTransformer

python train.py --configs=[subtransformer_architecture].yml --sub-configs=configs/[task_name]/subtransformer/common.yml
# for example
python train.py --configs=configs/wmt14.en-de/subtransformer/wmt14ende_titanxp@200ms.yml --sub-configs=configs/wmt14.en-de/subtransformer/common.yml

参数解释：

–configs 是步骤3中的 --write-config-path路径

–sub-configs 包含SubTransformer的训练设置

在这里插入图片描述

5. 根据重训练后的submodel 得到BLEU精度值

在这里插入图片描述

代码结构分析

latency_dataset.py

encoder 输入: src_tokens [1, 30]

decoder 输入

​ [5, 1] , 原因是num_beams=5

​ [5, 2]

​ [5, 3]

​ [5, 4]

​ [5, 5]

​ …

​ [5, 30]

清风幻影17
关注
Hardware-Aware Transformers (HAT)——Transformer模型的NAS策略
AI Flash
06-16 1091
paper: https://arxiv.org/abs/2005.14187 github: https://github.com/mit-han-lab/hardware-aware-transformers 相关论文： once-for-all: https://arxiv.org/abs/1908.09791 bigNAS: https://arxiv.org/abs/2003.11142 Introduction 当需要对Transformer进行NAS的时候，面临两个问题..
Class-Aware Generative Adversarial Transformers for Medical Image Segmentation---用于医学图像分割的类感知生成对抗变换
lxw_7754821的博客
10-20 1847
本文介绍了Castformer,一种简单而有效的生成对抗变换器，用于二维医学图像分割。 其关键洞察是集成多尺度金字塔结构，捕捉丰富的全局空间信息和局部多尺度上下文信息。
【读点论文】SqueezeNext: Hardware-Aware Neural Network Design 从硬件部署上探讨轻量化，了解部署硬件的RoofLine
白水空空
05-10 673
SqueezeNext: Hardware-Aware Neural Network Design Abstract 在嵌入式系统上部署神经网络的主要障碍之一是现有神经网络的大存储器和功耗。在这项工作中，本文介绍了SqueezeNext，这是一个新的神经网络体系结构家族，其设计是通过考虑以前的体系结构(如SqueezeNet)以及神经网络加速器上的模拟结果来指导的。 这种新网络能够以112倍的较少参数在ImageNet基准上匹配AlexNet的精度，其更深层次的变体之一能够仅用440万个参数实现VGG-1
HAT: Hardware-Aware Transformers for Efficient Natural Language Processing翻译
nopSled
08-15 801
摘要 Transformer在自然语言处理（NLP）任务中无处不在，但是由于需要大量的计算，因此很难将其部署在硬件上。为了在资源受限的硬件平台上实现低延迟推理，我们建议使用神经结构搜索设计Hardware-Aware Transformer（HAT）。我们首先构造一个具有任意编码器-解码器注意力模块和异构层的大型设计空间。然后，我们训练一个涵盖设计空间中所有候选对象的SuperTransformer，并有效地产生许多具有权重共享的SubTransformer。最后，我们在硬件延迟约束下执行进化搜索，以找到n
SqueezeNext: Hardware-Aware Neural Network Design
LYKymy的博客
08-07 687
Abstract 在嵌入式系统上部署神经网络的主要障碍之一是现有神经网络的大内存和功耗。在这项工作中，我们介绍了SqueezeNext，这是一个新的神经网络架构系列，其设计是通过考虑先前的架构（如SqueezeNet）以及神经网络加速器的仿真结果来指导的。这个新网络能够将AlexNet在ImageNet基准测试中的准确度与112倍以下的参数相匹配，其中一个更深层次的变体能够实现VGG-19精度，...
hardware-aware-transformers:[ACL 2020] HAT
03-19
HAT：用于高效自然语言处理的硬件感知变压器 @inproceedings{hanruiwang2020hat, title = {HAT: Hardware-Aware Transformers for Efficient Natural Language Processing}, author = {Wang, Hanrui and Wu, Zhanghao and Liu, Zhijian and Cai, Han and Zhu, Ligeng and Gan, Chuang and Han, Song}, booktitle = {Annual Conference of the Association for Computational Linguistics}, year = {2020} } 概述 我们发布了HAT
PyHubs:Python 中的 Hubness-aware 机器学习-开源
06-01
PyHubs 是一个用 Python 开发的机器学习库，其中包含 Hubness-aware 机器学习算法的实现以及一些用于机器学习实验的有用工具。 根据我们最近的观察，旧版本的 PyHubs（例如 1.2.1）在使用新版本的 numpy（例如 1.16...
HAT: Hardware-Aware Transformers for Efficient Natural Language Processing论文解读
leo0308的博客
12-14 3247
1 介绍 Transformer网络取得了非常大的成功并具有广泛的应用。 然而由于它巨大的计算代价，使得部署到手机等端侧设备面临巨大的挑战。 在评估Transformer网络的效率时有两个常见的陷进： 1） FLOPs不能反映真实的时延； 2）不同硬件偏好不同的Transformer结构。 上图表明， 在一个硬件上表现好的网络在另一个硬件上表现反而不好。 上图表明： 1）FLOPs在lateny并不完全是线性关系； 2）不用硬件的影响因素不同。 受NAS成功的启发， 我们提出了搜索硬件感知的Transf
AI加速器与机器学习算法：协同设计与进化
m0_73679848的博客
09-15 694
p4d和G5实例分别使用NVIDIA的A100和A10G GPU，两款GPU都基于Ampere架构，都支持FP64、FP32、FP16、 INT8、BF16和TF32精度类型，也都包含一种被NVIDIA称为“Tensor Core”的运算单元，用于混合精度计算。希望未来的AI加速器带来更好的用户和开发者体验。混合精度训练背后的思想是，训练时的矩阵乘法发生在较低精度表示（FP16、BF16、TF32），因此它们更快和能效更高，然后用FP32格式累积运算结果，以降低信息损失，从而提升训练速度和能效。
[论文极简笔记]FBNet: Hardware-Aware Efficient ConvNet Design via Differentiable Neural Architecture Search
Holeung blog
07-05 7461
这是CVPR2019接收的一篇文章，个人觉得几篇思路比较雷同，但贵在实验做的完备，能自圆其说。 之前的架构搜索方法有两个缺点： 一个一个分离训练模型； FLOPs指标不够可靠。 新方法DNAS： DNAS使用基于梯度的方法，不同于之前NAS流派的基于RL的方法。 DNAS优化的是结构分布，不同于之前是直接寻找的结构。 DNAS的loss由交叉熵和延时两部分组成。 使用速查表去计算延时...
FBNet: Hardware-Aware Efficient ConvNet Designvia Differentiable Neural Architecture Searc论文阅读笔记
weixin_45180140的博客
12-05 609
FBNet: Hardware-Aware Efficient ConvNet Designvia Differentiable Neural Architecture Search Abstract ConvNet体系结构的优化取决于输入分辨率和目标设备等因素 作者提出了一种可微的神经网络搜索体系，可以利用梯度下降法去优化 code adress：https://github.com/facebookresearch/mobile-vision 1. Introduction 在以往的
详解可微神经网络架构搜索框架（DNAS）
AMG_GT的博客
04-19 5487
【论文】FBNet: Hardware-Aware Efficient ConvNet Design via Differentiable Neural Architecture Search 【地址】https://arxiv.org/pdf/1812.03443 关键思想： 将Loss函数设计为这种形式： 然后证明交叉熵项和延时项对于网络基本结构的选择是可微分的，然后通过梯度下降方法...
技术资料分享nRF24L01P(新版无线模块控制IC)很好的技术资料.zip
11-08
技术资料分享nRF24L01P(新版无线模块控制IC)很好的技术资料.zip
C++ 课程设计项目，基于 Qt 制作的经典小游戏愤怒的小鸟 FlappyBird源代码
11-08
C++ 课程设计项目，基于 Qt 制作的经典小游戏愤怒的小鸟 FlappyBird源代码 点击屏幕使小鸟向上飞行 不要让小鸟撞到障碍物
控件以及双指放大缩小图片、单指拖动图片.zip
11-08
内容概要：本资源聚焦 Android 编程实战，包含毕业设计示例、完整的 Android 项目源码及文档分享。采用 MVC 模式进行架构设计，结合 JSP 技术与 SQL Server 2000 数据库管理系统，实现高效的 Android 应用开发。 适用人群：Android 开发初学者、计算机专业学生进行毕业设计参考、希望提升 Android 开发技能的程序员。 实用场景及目标：适用于开发各类 Android 应用项目，帮助开发者快速构建稳定、功能丰富的应用程序，同时为毕业设计提供优质的模板和思路。 说明：资源提供了详细的代码注释和文档说明，方便学习者理解和上手，助力提升 Android 开发能力和项目实战经验。
【路径规划】基于matlab FMM快速行进法船舶路径规划【Matlab仿真 2291期】.md
11-08
CSDN Matlab武动乾坤上传的资料均有对应的代码，代码均可运行，亲测可用，适合小白； 1、代码压缩包内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博客文章底部QQ名片； 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作
Python基于 YOLOv8 的甲骨文原始拓片图像单字分割识别模型源代码+使用说明
11-08
针对原始拓片图像中的甲骨文文字分割识别包括以下两个阶段： 目标检测：基于 YOLOv8 目标检测模型，对甲骨文文字所在的矩形区域进行提取。 字符识别：基于 YOLOv8 图像分类模型，对文字图像进行分类，判断该字形所代表的具体字符内容。 同时基于 PyQt5 制作了一个简单的识别器前端程序。 使用说明 首先安装环境依赖包，项目目前采用 ONNX Runtime 部署模型推理。 pip install -r requirements.txt 若需要使用 GPU 进行推理，则需要安装： pip install onnxruntime-gpu 可以在本项目 Releases 中下载我训练好的模型权重文件，解压到项目中相应的位置（位于 inferences/models/ 下），运行 main.py 即可。 python main.py
几种常见简单滤波器用于二维图像降噪，包括均值、中值、高斯、低通、双边滤波器，语言是python
最新发布
11-08
每个滤波器均打包在不同的文件之内，以其功能命名，有均值滤波器、中值滤波器、高斯滤波器、低通滤波器、双边滤波器。应用场景为二维mat矩阵，同理可扩展到任意二维图像降噪，读者仅需更改输入输出文件路径即可调用
bending reality: distortion-aware transformers for adapting to panoramic sem
09-19
弯曲现实：畸变感知的变压器用于适应全景语义。 近年来，全景图像和全景视频成为计算机视觉领域的研究热点。全景图像是一种包含整个环境的图像，能够提供更加广阔的视野和全面的信息。然而，由于镜头的物理构造和环境因素的干扰，全景图像中常常存在畸变现象。 为了有效地处理全景图像中的语义信息，研究者们提出了一种名为“弯曲现实”的新方法。该方法主要利用变压器（transformer）模型，并在其基础上加入畸变感知机制。 变压器模型是一种强大的深度学习模型，常用于计算机视觉和自然语言处理任务。它的基本思想是将输入序列映射为输出序列，通过自注意力机制同时考虑输入序列中的所有位置。然而，在处理全景语义时，传统的变压器模型无法有效处理畸变现象。 因此，在“弯曲现实”方法中，研究者们引入了畸变感知的机制，以更好地适应全景语义。这种机制使变压器模型能够捕捉到全景图像中的畸变信息，从而更准确地理解和分析全景图像。 具体而言，畸变感知的变压器模型通过在模型的输入和输出之间添加额外的畸变感知模块，能够对输入中的畸变进行建模，并将其纳入到整个模型的学习过程中。这种感知模块可以捕捉到全景图像中的空间和角度畸变，从而提高全景语义的识别和理解能力。 总之，“弯曲现实”是一种针对全景图像和全景语义的新方法。通过引入畸变感知的变压器模型，可以更好地适应全景图像中的畸变现象，提高对全景语义的处理效果。这一方法的提出将为计算机视觉领域的研究和应用带来更多可能性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值