算法面试题_字节

问题一：Transfomer矩阵维度分析及MultiHead详解：

细致链接1
细致链接2

问题二：transformer的结构，流程，维度变换，encoder，decoder：

多头维度怎么变化：先在q，k，v的输入端就进行处理，让他们的维度为 embedding_size /nums_head。最后在注意力层的最后拼接。这就是原因：head的数量需被embedding_size整除
注意力：通过Q和K计算得到注意力权重，然后在作用于V得到整个权重和输出
细致链接

问题三：p-tuning，lora，adapter 的细致算法：

p-tuning
lora
adapter

问题四：评测框架的任务有哪些？cblue

问题五：训了哪些模型，dataset的问题

问题六：cv，deepsortv3，yolo的发展史，yolo的backbone

问题七：dataloader和dataset的区别：

ⅰ. dataset就是传统的类，用户根据特点的需求设定特定的类。
https://huggingface.co/docs/datasets/loading
ⅱ. dataloader则接受dataset定义的类进行分批次，分batch以方便后续的训练，推理等操作。
ⅲ. Dataset检索我们的数据集的特征并一次标记一个样本。dataloader在训练模型时，我们通常希望以“小批量”方式传递样本，在每个时期重新整理数据以减少模型过度拟合；这个有个shuffle决定是否在每个epoch之间打乱每个batch。