![](https://img-blog.csdnimg.cn/20190927151026427.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
NLP
文章平均质量分 86
深度学习-NLP
C--G
这个作者很懒,什么都没留下…
展开
-
21、LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding
将原始LiDAR数据作为输入,利用LLMs卓越的推理能力,来获得对室外3D场景的全面了解,将3D户外场景认知重构为语言建模问题,如3D captioning, 3D grounding, 3D question answering。原创 2024-01-10 15:39:03 · 1074 阅读 · 0 评论 -
20、Finetuning
手动尝试最优的提示无异于大海捞针,于是便有了自动离散提示搜索的方法,但提示是离散的,神经网络是连续的,所以寻找的最优提示可能是次优的。而如果采用固定预训练模型的某些层,只微调接近下游任务的那几层参数,又难以达到较好的效果。PEFT(Parameter-Efficient Fine-Tuning)是hugging face开源的一个参数高效微调大模型的工具,里面集成了4种微调大模型的方法,可以通过微调少量参数就达到接近微调全量参数的效果,使得在GPU资源不足的情况下也可以微调大模型。原创 2024-01-03 21:28:48 · 1267 阅读 · 0 评论 -
19、BLIP-2
通过利用预训练的视觉模型和语言模型来提升多模态效果和降低训练成本,预训练的视觉模型能够提供高质量的视觉表征,预训练的语言模型则提供了强大的语言生成能力。原创 2024-01-03 15:27:23 · 941 阅读 · 0 评论 -
18、BLIP
BLIP提出了一种基于预训练的方法,通过联合训练视觉和语言模型来提升多模态任务的性能。BLIP(Bootstrapping Language-Image Pretraining)是salesforce在2022年提出的多模态框架,是理解和生成的统一,引入了跨模态的编码器和解码器,实现了跨模态信息流动。在AIGC中通常用来给图像生成prompt,好的prompt对交叉注意力的微调非常关键,例如ControlNet中的Automatic Prompt就是BLIP生成的。原创 2024-01-02 19:03:48 · 920 阅读 · 0 评论 -
17、InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks
(a)表示传统的视觉基础模型,如对分类任务进行预训练的ResNet。(b)表示视觉语言基础模型,例如CLIP,对图像-文本对进行预训练。(c)InternVL,它提供了一种将大规模视觉基础模型(即InternViT-6B)与大型语言模型对齐的可行方法,并且对于对比和生成任务都是通用的。比较各种通用视觉语言任务的结果,包括图像分类、视频分类、图像文本检索、图像字幕和多模态对话。InternVL在所有这些任务上都达到了最佳性能。原创 2024-01-02 14:52:49 · 1852 阅读 · 0 评论 -
16、White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is?
提出了一种新的白盒变压器架构,名为,通过操作来实现数据的表示学习。这种架构的设计使得内部表示更易解释,相比于黑盒变压器,CRATE的内部表示具有更清晰和易提取的语义含义。通过最大化 coding rate reduction——∆R(z),可以促使特征zi被紧凑地编码为低维高斯分布的混合物,其中不同的高斯分布在统计上是不相关的。还探讨了之间的联系,指出去噪等价于学习数据分布的表示。因此提出了一种结构化的去噪-扩散理论,以此来构建一致的编码器-解码器对 f, g。原创 2023-12-30 21:35:11 · 1173 阅读 · 0 评论 -
15、CF-ViT: A General Coarse-to-Fine Method for Vision Transformer
vit原创 2023-03-13 10:21:30 · 726 阅读 · 0 评论 -
14、RoBERTa、ALBERT、ERNIE、ERNIE 2.0、ELECTRA
bert系列原创 2023-03-12 15:37:05 · 630 阅读 · 0 评论 -
13、Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Swin Transformer原创 2023-02-24 16:57:04 · 777 阅读 · 0 评论 -
12、CLIP:Learning Transferable Visual Models From Natural Language Supervision
CLILP原创 2023-02-23 09:17:54 · 343 阅读 · 0 评论 -
11、BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT原创 2023-02-21 22:43:16 · 233 阅读 · 0 评论 -
10、InstructGPT:Training language models to follow instructions with human feedback
InstructGPT原创 2023-02-21 21:22:38 · 1245 阅读 · 0 评论 -
9、GPT-1-2-3
gpt原创 2023-02-21 17:06:58 · 874 阅读 · 0 评论 -
8、AI医生案例
ai医生原创 2022-06-22 12:27:27 · 793 阅读 · 0 评论 -
7、迁移学习
微调nlp原创 2022-06-17 20:09:23 · 8072 阅读 · 0 评论 -
6、Transformer构建语言模型
nlp原创 2022-06-14 22:11:17 · 495 阅读 · 1 评论 -
4、Transformer
nlp原创 2022-06-14 16:05:05 · 608 阅读 · 0 评论 -
5、Embedding
embedding原创 2022-06-11 18:06:10 · 328 阅读 · 0 评论 -
3、NLP模型
RNN原创 2022-06-09 21:05:08 · 860 阅读 · 0 评论 -
2、自然语言处理入门
nlp原创 2022-06-08 22:14:45 · 198 阅读 · 0 评论 -
1、pytorch入门
Pytorch是一款facebook发布的深度学生框架,由其易用性,友好性,深受广大用户青睐tensor常见数据类型原创 2022-06-07 15:51:36 · 117 阅读 · 0 评论