- 博客(6)
- 收藏
- 关注
RSS订阅原创 DDR分享之LPDDR5X:4初始化和训练-4.1上电、初始化和下电流程-2
本系列是lpddr5x spec的分享。spec版本：JESD209-5B。
2024-01-03 00:45:14
565
1
原创 Transformer硬件实现第三篇：Pytorch基础知识补充（2）
该篇文章是训练Transformer前的pytorch的知识补充。感谢博主莫凡Python的视频课程https://www.youtube.com/watch?v=lAaCeiqE6CE&feature=emb_title，其主页是：莫烦Python建议直接观看该博主视频教程完成pytorch的知识补充。也可走马观花浏览我的文字记录。前言接上篇文章，这是Pytorch知识补充的最后一篇文章。这几部分内容是之后训练Transformer及硬件设计所需要的，涵盖：如何搭建网络模型 保存
2021-10-13 03:06:01
885
2
原创 Transformer硬件实现第二篇：Pytorch基础知识补充（1）
该篇文章是训练Transformer前的pytorch的知识补充。感谢博主莫凡Python的视频课程https://www.youtube.com/watch?v=lAaCeiqE6CE&feature=emb_title，其主页是：莫烦Python建议直接观看该博主视频教程完成pytorch的知识补充。也可走马观花浏览我的文字记录。对于Transformer硬件加速器算法与电路协同设计，算法训练必不可少，故在训练前温习Pytorch知识，对视频教程进行文字整理及总结，作为学习交流使用。
2021-10-12 02:31:30
736
原创 Transformer硬件实现第一篇：算法结构拆解
实现Transformer硬件加速器，首先需要理解算法的各个计算单元。顶层结构Transformer本质是一个Encoder和Decoder模型。Encoder和Decoder各包含6个block。对1个block，结构如下：1.数据送入self-attention模块，得到加权的特征向量Z，即2.得到的结果Z送入二层前馈网络层，第一层为ReLU，第二层为全连接层。一与二步骤完成Encoder的计算，现在将得到的结果送入Decoder。Decoder由Self-attention + .
2021-10-11 01:45:39
3527
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人