- 博客(102)
- 资源 (1)
- 收藏
- 关注
原创 20240729 大模型评测
参考:MMBench:基于ChatGPT的全方位多模能力评测体系_哔哩哔哩_bilibilihttps://en.wikipedia.org/wiki/Levenshtein_distancecider: https://zhuanlan.zhihu.com/p/698643372GitHub - open-compass/opencompass: OpenCompass is an LLM evaluation platform, supporting a wide range of models (
2024-07-29 18:28:03
298
原创 20240708 VLM
不同于全局自注意力,Swin Transformer在每个层次中,窗口内的像素会通过自注意力机制相互作用,而在相邻层之间,窗口会进行一定的位移(Shift),使得窗口之间的信息得以流动,从而实现了在保持较高效率的同时,兼顾了局部和全局信息的融合。类似于CNN(卷积神经网络)中的特征金字塔网络(FPN),Swin Transformer构建了一个层级结构,随着网络层数加深,特征图的空间分辨率逐渐减小,但感受野(能“看”到的图像范围)增大,这样既能捕捉到局部细节又能把握全局上下文。
2024-07-08 16:24:06
659
原创 20240708 LLM
在自然语言处理(NLP)领域,Masked Sequence Packing 是一种将多个短序列打包在一起形成一个较长序列的技术,特别适用于训练像BERT(Bidirectional Encoder Representations from Transformers)这样的预训练模型,以及那些采用Masked Language Modeling(MLM)任务的模型。提高训练效率:通过将多个短序列拼接成一个序列,模型可以在一个前向传播过程中处理更多的有效信息,从而在同样的计算资源下,提升训练数据的利用率。
2024-07-08 16:24:02
958
原创 20240708 多模态大模型
GLIP通过预训练来学习语言和图像之间的这种精准对应关系,使得模型在面对下游任务如图像标注、视觉问答等时,能够有效地将文本信息与图像中的对象、动作或场景属性精确匹配,也就是所谓的“视觉-语言对齐”(Visual-Linguistic Alignment)或“定位语义”(Phrase Grounding)。在计算机视觉和自然语言处理领域,"grounding"(接地)这个概念最早源于认知科学,它是指符号或词语与现实世界实体或概念之间的对应关系,即词汇或表述与它们所指代的对象或事件建立起联系的过程。
2024-07-08 16:23:55
824
原创 20240708 Transformer ViT
右边N个decoder,输入为下一个词预测标签或者带预测对象,加上位置编码,多头注意力,masked是可选的,训练的时候关闭,保证看到后面的所有信息,推理的时候是打开的,避免后面信息泄漏,q加上编码起的k,v,提升捕捉上下文信息特征,前向传播,softmax。QKV 是自注意力机制的关键组件。左边encoder,右边decoder, 图像或句子编码, 加上位置编码,进入多头注意力机制(多个Q,K,V),残差相加避免梯度消失,layer norm归一化(梯度、加速收敛、正则化),前向传播(全连接层)。
2024-07-08 16:03:29
1028
原创 20240325 大模型训练
PEFT(Parameter-Efficient Fine-Tuning)是一种针对大规模预训练模型(尤其是自然语言处理领域的模型)进行微调的技术手段,其主要目的是在保持模型性能的同时,尽可能减少需要微调的参数量,以节省计算资源、降低训练成本,并减轻过拟合的风险。通过这些策略,PEFT允许在有限的计算资源条件下,对预训练模型进行快速且高效的定制,使之适应新的具体任务,进而推动大模型在更多实际应用中的落地。Hugging Face等组织和社区为这类参数高效微调方法提供了相应的库和工具支持。
2024-03-25 19:00:46
278
原创 20231025 技能点
总之,交换机和路由器是网络中的两种不同设备,各自有不同的用途和功能。在网络设计中,它们通常一起使用,以实现有效的数据传输和网络管理。交换机(Switch)和路由器(Router)是计算机网络中两种不同的设备,它们有不同的功能和作用。路由器用在一个网络到另一个网络。
2023-10-25 11:24:17
635
原创 20220525 backbone RCNN--->Faster RCNN
使用selective search传统方式,先将图片分割,合并包含同一物体可能性高的区域,进行归一化,得到固定大小的图像。2>cnn特征提取特征图卷机3> svm分类器。4>位置精修...
2022-05-25 14:02:25
129
原创 20211026 python 排序
1、data = [(1, 'B'), (1, 'A'), (2, 'A'), (0, 'B'), (0, 'a')] #利用参数key来规定排序的规则result = sorted(data,key=lambda x:(x[0],x[1].lower()))lambda 相当于:def fun(x) return(x[0],x[1].lower())
2021-10-26 11:48:35
86
原创 20211026 python 装饰器和命名空间
如何理解Python装饰器? - 知乎1、def decorator(func):def wrapper(*args, **kwargs):print('123')return func(*args, **kwargs) return wrapper@decoratordef say_hello():print('同学你好')say_hel...
2021-10-26 11:06:27
149
linux 网站搭建
2018-11-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人