- 博客(102)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 20240729 大模型评测
参考：MMBench：基于ChatGPT的全方位多模能力评测体系_哔哩哔哩_bilibilihttps://en.wikipedia.org/wiki/Levenshtein_distancecider: https://zhuanlan.zhihu.com/p/698643372GitHub - open-compass/opencompass: OpenCompass is an LLM evaluation platform, supporting a wide range of models (
2024-07-29 18:28:03
296
原创 20240708 VLM
不同于全局自注意力，Swin Transformer在每个层次中，窗口内的像素会通过自注意力机制相互作用，而在相邻层之间，窗口会进行一定的位移（Shift），使得窗口之间的信息得以流动，从而实现了在保持较高效率的同时，兼顾了局部和全局信息的融合。类似于CNN（卷积神经网络）中的特征金字塔网络（FPN），Swin Transformer构建了一个层级结构，随着网络层数加深，特征图的空间分辨率逐渐减小，但感受野（能“看”到的图像范围）增大，这样既能捕捉到局部细节又能把握全局上下文。
2024-07-08 16:24:06
659
原创 20240708 LLM
在自然语言处理（NLP）领域，Masked Sequence Packing 是一种将多个短序列打包在一起形成一个较长序列的技术，特别适用于训练像BERT（Bidirectional Encoder Representations from Transformers）这样的预训练模型，以及那些采用Masked Language Modeling（MLM）任务的模型。提高训练效率：通过将多个短序列拼接成一个序列，模型可以在一个前向传播过程中处理更多的有效信息，从而在同样的计算资源下，提升训练数据的利用率。
2024-07-08 16:24:02
958
原创 20240708 多模态大模型
GLIP通过预训练来学习语言和图像之间的这种精准对应关系，使得模型在面对下游任务如图像标注、视觉问答等时，能够有效地将文本信息与图像中的对象、动作或场景属性精确匹配，也就是所谓的“视觉-语言对齐”（Visual-Linguistic Alignment）或“定位语义”（Phrase Grounding）。在计算机视觉和自然语言处理领域，"grounding"（接地）这个概念最早源于认知科学，它是指符号或词语与现实世界实体或概念之间的对应关系，即词汇或表述与它们所指代的对象或事件建立起联系的过程。
2024-07-08 16:23:55
824
原创 20240708 Transformer ViT
右边N个decoder，输入为下一个词预测标签或者带预测对象，加上位置编码，多头注意力，masked是可选的，训练的时候关闭，保证看到后面的所有信息，推理的时候是打开的，避免后面信息泄漏，q加上编码起的k,v，提升捕捉上下文信息特征，前向传播，softmax。QKV 是自注意力机制的关键组件。左边encoder，右边decoder, 图像或句子编码， 加上位置编码，进入多头注意力机制（多个Q，K，V），残差相加避免梯度消失，layer norm归一化（梯度、加速收敛、正则化），前向传播（全连接层）。
2024-07-08 16:03:29
1028
原创 20240325 大模型训练
PEFT（Parameter-Efficient Fine-Tuning）是一种针对大规模预训练模型（尤其是自然语言处理领域的模型）进行微调的技术手段，其主要目的是在保持模型性能的同时，尽可能减少需要微调的参数量，以节省计算资源、降低训练成本，并减轻过拟合的风险。通过这些策略，PEFT允许在有限的计算资源条件下，对预训练模型进行快速且高效的定制，使之适应新的具体任务，进而推动大模型在更多实际应用中的落地。Hugging Face等组织和社区为这类参数高效微调方法提供了相应的库和工具支持。
2024-03-25 19:00:46
276
原创 20231025 技能点
总之，交换机和路由器是网络中的两种不同设备，各自有不同的用途和功能。在网络设计中，它们通常一起使用，以实现有效的数据传输和网络管理。交换机（Switch）和路由器（Router）是计算机网络中两种不同的设备，它们有不同的功能和作用。路由器用在一个网络到另一个网络。
2023-10-25 11:24:17
635
1原创 20220525 backbone RCNN---＞Faster RCNN
使用selective search传统方式，先将图片分割，合并包含同一物体可能性高的区域，进行归一化，得到固定大小的图像。2>cnn特征提取特征图卷机3> svm分类器。4>位置精修...
2022-05-25 14:02:25
129
原创 20211026 python 排序
1、data = [(1, 'B'), (1, 'A'), (2, 'A'), (0, 'B'), (0, 'a')] #利用参数key来规定排序的规则result = sorted(data,key=lambda x:(x[0],x[1].lower()))lambda 相当于：def fun(x) return(x[0],x[1].lower())
2021-10-26 11:48:35
86
原创 20211026 python 装饰器和命名空间
如何理解Python装饰器？ - 知乎1、def decorator(func):def wrapper(*args, **kwargs):print('123')return func(*args, **kwargs) return wrapper@decoratordef say_hello():print('同学你好')say_hel...
2021-10-26 11:06:27
147
linux 网站搭建
2018-11-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人