胡侃有料的博客

IMAGEBIND 多模态论文梗概IMAGEBIND是一种夸模态的神经网络，以图片为中心，联合六中模态的网络（图片、文字、音频、深度图、热力图、惯性测量单元）

LLAMA 1到3梳理在之前的大语言模型(GPTs)中，基于模型越大效果越好进行实验。然而，Hoffmann等人（2022）最近的工作表明，对于给定的计算预算，最佳性能不是由最大的模型实现的，而是由经过更多数据训练的较小模型实现的。Hoffmann等人（2022）的缩放定律的目标是确定如何最佳地缩放特定训练计算预算的数据集和模型大小。然而，这个目标忽略了推理时间，这在大规模服务语言模型时变得至关重要。因为大部分社区用户其实没有训练 LLM 的资源，他们更多的是拿着训好的 LLM 来推理。

从GPT1 到GPT3时间模型参数量层数词向量长度训练数据2018.6GPT1117M127685G2019.2GPT248160040G2020.5GPT3175B3612288570G关于参数，如下是GPT2-small示例：参考。

对bert进行梳理

分词方法梗概。

位置编码（Position Encoding）是自然语言处理（NLP）和其他序列模型（如 Transformer）的一个关键概念，用于为输入序列中的每个元素提供位置信息。在处理序列数据时，模型需要了解元素之间的相对位置，以便更好地理解上下文和顺序。周期是Tbaseid∗2πTbaseid∗2π，下图是d = 100,i = 10,不同base的情况随着base的增大，周期随之增加，这样重复的值就会少。

detr之loss逐行梳理匹配，预测框和gt框进行匹配计算损失""""""self.num_classes = num_classes # 数据集类别数self.matcher = matcher # HungarianMatcher() 匈牙利算法 二分图匹配self.weight_dict = weight_dict # dict: 18 3x6 6个decoder的损失权重 6*(loss_ce+loss_giou+loss_bbox)

detr之decoder逐行梳理。

detr之encoder逐行梳理。

detr 之backbone逐行梳理。

detr。

every blog every motto: You can do more than you think.https://blog.csdn.net/weixin_39190382?type=blogswin论文： https://arxiv.org/pdf/2103.14030v1.pdf时间： 2021.3.25作者： Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, Baining Guo网

vit梳理。

transformer注解在过去的一年里，《Attention is all you need》中的transformer一直萦绕在很多人的脑海里。除了在翻译质量上产生重大改进之外，它还为许多其他NLP任务提供了一种新的架构。论文本身写得很清楚，但传统观点认为很难正确执行。在这篇文章中，我将以逐行实现的形式呈现论文的注释版本。我重新整理并删除了原论文中的一些章节，并在全文中添加了注释。这个文档本身就是一个工作笔记本，应该是一个完全可用的实现（可以在jupyter notebook中运行）。

neural machine translation by jointly learning to align and translate阅读与思考作为transformer的前传，同时，作为在nlp中第一篇注意力机制相关文章，还是很有必要一读。本文的主要贡献是打破了此前翻译中encoder-decoder需将句子变换到一个固定的长度，采用自适应方法。arxiv第一版时间为2014年。

从attention到Transformer变化过程