Transformer 算法与电路协同设计
文章平均质量分 87
电子锤
芯旺微电子员工,记录与分享
展开
-
Transformer硬件实现第三篇:Pytorch基础知识补充(2)
该篇文章是训练Transformer前的pytorch的知识补充。感谢博主莫凡Python的视频课程https://www.youtube.com/watch?v=lAaCeiqE6CE&feature=emb_title,其主页是:莫烦Python建议直接观看该博主视频教程完成pytorch的知识补充。也可走马观花浏览我的文字记录。前言接上篇文章,这是Pytorch知识补充的最后一篇文章。这几部分内容是之后训练Transformer及硬件设计所需要的,涵盖:如何搭建网络模型 保存原创 2021-10-13 03:06:01 · 982 阅读 · 2 评论 -
Transformer硬件实现第二篇:Pytorch基础知识补充(1)
该篇文章是训练Transformer前的pytorch的知识补充。感谢博主莫凡Python的视频课程https://www.youtube.com/watch?v=lAaCeiqE6CE&feature=emb_title,其主页是:莫烦Python建议直接观看该博主视频教程完成pytorch的知识补充。也可走马观花浏览我的文字记录。对于Transformer硬件加速器算法与电路协同设计,算法训练必不可少,故在训练前温习Pytorch知识,对视频教程进行文字整理及总结,作为学习交流使用。原创 2021-10-12 02:31:30 · 811 阅读 · 0 评论 -
Transformer硬件实现第一篇:算法结构拆解
实现Transformer硬件加速器,首先需要理解算法的各个计算单元。顶层结构Transformer本质是一个Encoder和Decoder模型。Encoder和Decoder各包含6个block。对1个block,结构如下:1.数据送入self-attention模块,得到加权的特征向量Z,即2.得到的结果Z送入二层前馈网络层,第一层为ReLU,第二层为全连接层。一与二步骤完成Encoder的计算,现在将得到的结果送入Decoder。Decoder由Self-attention + .原创 2021-10-11 01:45:39 · 3909 阅读 · 0 评论