手撕算法和面经笔记
手撕常见模型、损失函数等,总结面试常问问题及答案等;
晓晓纳兰容若
Notes do not lie!
展开
-
c++笔记--基于C++实现tensor合并
给定两个 NCHW 维度的 Blob,在 H 维度上进行拼接。原创 2023-10-18 02:14:12 · 394 阅读 · 0 评论 -
C++笔记--基于C++实现NMS算法
【代码】C++笔记--基于C++实现NMS算法。原创 2023-10-13 21:53:31 · 721 阅读 · 1 评论 -
面试八股笔记--TensorRT相关问题
经典的一个合并是将 Conv、BN 和 ReLU 三层进行合并为一个层;如果不进行合并,调用这三层结构需要分别调用三次 cuDNN 对应的 API,合并之后只需要调用一次即可;:支持 FP16 和 FP32 同时进行推理,也支持 INT8 的量化,加快模型推理速度;:将输入相同,操作相同的层进行水平合并;1--TensorRT加速的原理。1--TensorRT加速的原理。原创 2023-11-12 18:00:41 · 248 阅读 · 0 评论 -
NLP笔记--BERT模型的基本知识
在 BERT 的MLM(Masked Language Model)预训练任务中,只有15%的词汇会被遮蔽(被替换为特殊的"[MASK]"标记)。总的来说,BERT中的双向体现在其训练过程中,通过同时考虑左右两侧上下文来学习单词表示,使得模型能够更全面地理解语言的语境。通过这种方式,BERT模型在预训练过程中通过MLM任务学习到了对上下文信息的敏感性,使得它能够更好地理解语言的语境。,然后通过反向传播和优化算法(通常是梯度下降法)来更新模型的参数,使得模型能够更好地捕捉文本中的语言表示和关系。原创 2023-11-11 17:42:46 · 297 阅读 · 0 评论 -
手撕算法笔记--手撕交叉熵损失函数和对比学习InfoNCE loss
其中,y_pred表示模型预测的概率值,y_true表示真实的类别标签。其中,N表示batchsize的大小,M表示类别的个数。1-1--二元交叉熵。1-2--多元交叉熵。原创 2024-03-27 21:12:01 · 460 阅读 · 0 评论