![](https://img-blog.csdnimg.cn/20190927151043371.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
- Transformer
文章平均质量分 88
transformer相关论文,项目等
夏天|여름이다
人工智能研究员,致力于计算机视觉,自然语言处理,语音处理,多模态模型,强化学习等相关研究。
展开
-
多模态 | 基于GNN的多模态情感识别技术COGMEN项目实现,代码分析,并训练自己的数据集,后期修改网络,运行全部过程以及经验总结
训练后,生成model_checkpoints目录,如下。对于已经有pytorch的情况,我只安装了以下命令。如果安装GPU版本,cuda版本需要11.7及以上。数据集:iemocap_4。对数据集进行处理,运行。原创 2023-04-03 15:27:03 · 2704 阅读 · 5 评论 -
NLP | SentenceTransformer将句子进行编码并计算句子语义相似度
Sentence Transformer是一个Python框架,用于句子、文本和图像嵌入Embedding。这个框架计算超过100种语言的句子或文本嵌入。然后,这些嵌入可以进行比较,例如与余弦相似度进行比较,以找到具有相似含义的句子,这对于语义文本相似、语义搜索或释义挖掘非常有用。该框架基于PyTorch和Transformer,并提供了大量预训练的模型集合,用于各种任务,此外,很容易微调自己的模型。如果没有的话,利用pip安装如果是conda的虚拟环境时,可以使用以下命令安装句子转换器。原创 2023-04-03 12:45:29 · 4895 阅读 · 1 评论 -
NLP | 打造一个‘OpenAI智能’机器人,只需要五分钟
借用openai api,做一个聊天机器人,别去openai主页啦~原创 2023-01-25 18:42:08 · 10764 阅读 · 9 评论 -
NLP | XLNet :用于语言理解的广义自回归预训练 论文详解
XLNet使用了一种排列的自回归预训练方法。原创 2022-11-09 22:18:26 · 800 阅读 · 0 评论 -
论文篇 | 基于深度学习的机器翻译论文总汇
长期以来,人们一直认为人类翻译的质量对于计算机翻译系统来说是无法实现的。在这项研究中,我们提出了一个深度学习系统CUBBITT,它挑战了这一观点。在人类法官的上下文感知盲测评估中,CUBBITT在保留文本含义(翻译充分性)方面显着优于专业机构的英语到捷克语新闻翻译。虽然人工翻译仍然被评为更流畅,但CUBBIT被证明比以前最先进的系统更流畅。此外,翻译图灵测试的大多数参与者都很难将CUBBITT翻译与人工翻译区分开来。这项工作接近人工翻译的质量,甚至在某些情况下充分超越了它。原创 2022-10-25 01:41:57 · 3255 阅读 · 0 评论 -
NLP | 自然语言处理经典seq2seq网络BERT详解及代码
BERT 是 Transformers 双向编码器表示的缩写,是一种用于自然语言处理的机器学习 (ML) 模型。它由 Google AI Language 的研究人员于 2018 年开发,是 11 种以上最常见语言任务的瑞士军刀解决方案,例如情感分析和命名实体识别。从历史上看,计算机很难“理解”语言。当然,计算机可以收集、存储和读取文本输入,但它们缺乏基本的语言上下文。因此,出现了自然语言处理 (NLP):人工智能领域,旨在让计算机从文本和口语中读取、分析、解释和获取含义。原创 2022-10-23 19:23:08 · 977 阅读 · 0 评论 -
NLP | Transformer 中的关键知识点附代码
Transformer是seq2seq的模型,也就是数据有顺序,输出的是序列。本文主要结合代码理解Transformer。原创 2022-10-21 18:57:17 · 766 阅读 · 0 评论 -
Transformer | DETR目标检测中的位置编码position_encoding代码详解
Transformer不像RNN可以根据位置顺序接受和处理单词,所以为了得到词的位置信息,将位置信息添加到每个词的嵌入向量中,这称为位置编码。DETR中提供了两种编码方式,一种是正弦编码(PositionEmbeddingSine),一种是可以学习的编码(PositionEmbeddingLearned),默认为正弦编码。原创 2022-10-04 19:46:24 · 9957 阅读 · 6 评论 -
项目复现 | DETR:利用transformers端到端的目标检测
论文:End-to-End Object Detection with Transformers论文详解地址:方法一。原创 2022-09-12 01:07:02 · 4679 阅读 · 0 评论 -
论文篇 | 2020-Facebook-DETR :利用Transformers端到端的目标检测=>翻译及理解(持续更新中)
我们提出了一种将对象检测视为直接集合预测问题的新方法。我们的方法简化了检测方式,有效地消除了对许多手工设计的组件的需求,例如非最大抑制过程或锚点生成,这些组件明确地编码了我们关于任务的先前知识。新框架的主要成分称为DEtection TRansformer或DETR,是基于集合的全局损耗,通过二分匹配强制进行独特的预测,以及transformer编码器 - 解码器架构。给定一组固定的学习对象查询,DETR 推理对象和全局图像上下文的关系,以直接并行输出最终的预测集。原创 2022-09-11 22:45:46 · 2056 阅读 · 0 评论