分享
扫一扫
超级会员免费看
嵌入式视觉
双非本科，曾4个月考研上岸211硕士，现大厂算法开发工程师，从事视觉算法开发和模型压缩部署工作，终身学习践行者。想要了解更多干货和开源项目，欢迎关注我的公众号-嵌入式视觉。
展开
-
FasterTransformer 框架速览
FasterTransformer 包含 Transformer 块的高度优化版本的实现，其中包含编码器 Encoder 和解码器 Decoder部分。基于 FT 可以运行完整的编码器-解码器架构模型原创 2023-07-27 11:15:00 · 405 阅读 · 2 评论 -
LLM 基础-transformers 库快速入门
本文总结了 Transformers 的常用术语并给出详细解释，然后对 transformers 库总结了快速使用方法，并结合实例代码做分析，可当作 LLM 的快速入门学习。原创 2023-07-26 20:02:59 · 730 阅读 · 0 评论 -
DeepSpeed通过系统优化加速大模型推理
LLM 的高效推理是实现 LLM工程应用的关键技术。和 LLM 训练环节相比，推理环节在计算精度（FP16/INT8）、算力消耗量等方面的要求较低，但 GPU 显存不足的问题同样会出现在推理环节。此外，模型推理速度受限于通信延迟和硬件内存带宽。如何保持低延迟的前提下，还尽可能节省计算资源和使现有显存满足推理的要求，是我们依然面临的问题。原创 2023-05-16 10:45:00 · 1008 阅读 · 0 评论 -
BLOOM模型结构详解
BLOOM模型也是 Decoder-only 架构，但和原始 decoder 结构主要有两个区别: ALiBi Positional Embeddings 和 Embedding LayerNorm。原创 2023-04-18 17:42:59 · 1684 阅读 · 0 评论 -
经典transformer视觉模型总结
ViT 在 Transformer 架构的视觉模型的地位类似 ResNet模型。因为其模型“简单”且效果好，可扩展性强（scalable，模型越大效果越好），是Transformer在CV的奠基之作。原创 2023-04-16 10:30:00 · 726 阅读 · 0 评论 -
Transformer模型详解及代码实现
本文详细解析了Transformer整体模型结构，并深入分析了各个layer层的原理及给出了计算公式，针对每个 layer、block 都给出了较为详细的代码实现方便深入理解网络结构。原创 2023-04-15 10:30:00 · 1181 阅读 · 0 评论 -
LLM背景知识总结
在自然语言处理中，Token 是指一段文本中的基本单位，通常是一个词、一个词组或者一个字符。Tokenization 是将一段文本分解为一系列的 Token 的过程。原创 2023-04-14 17:34:50 · 772 阅读 · 0 评论