学习日记day13

已于 2023-11-01 13:58:02 修改
阅读量53 收藏
点赞数
文章标签： 学习
于 2023-11-01 13:51:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41567706/article/details/134159285
版权

想试试的代码：

ViLBERT（Co-Transformer）

CLIP

ImageBind

Multimodal-CoT

BLIP-2

视频：[CVPR2023 Tutorial Talk] Multimodal Agents_哔哩哔哩_bilibili

工具：markdown 整理已有论文

综述方法（b站宇凡聊学术）：

        1、巧用关键词：review、systematic review、critical review、assessment、critical assessment、meta analysis、agenda、research agenda

        2、综述期刊：wiley、annual reviews

代码学习：完成！

海绵宝宝小姜儿
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
视觉-语言双流BERT模型之VilBERT学习笔记
u013895173的博客
04-22 4515
继 2018 年谷歌推出BERT 模型获得巨大成功之后，业界把BERT的思想迁移到视觉、视频任务中的例子越来越多，出现了很多融合的BERT模型。其中，ViLBERT模型是为视觉-语言任务训练非任务专用的视觉语言表征的BERT融合模型。最近，在做文本-视频语义相关性匹配，调研、学习了这篇文章，记录下来学习的笔记，方便后面回顾，温故而知新。 论文作者：Jiasen Lu, Dhruv Batra, D...
图文结合-ViLBERT
poorlytechnology的博客
12-23 629
图文结合，自然语言处理、多模态学习、双流模型
＜＜多模态预训练—泛读系列（一）＞＞ViLBERT—(NeurIPS-2019)，VL-BERT—(ICLR-2020)，VisualBERT—(ACL-2020)
金克丝的博客
08-01 1356
介绍： ViLBERT，一种用于学习图像和自然语言的任务不可知的联合表征的模型，将BERT架构扩展到多模态双流架构，两个独立的分支分别处理视觉和文本输入，co-attention层用以交互图像和文本。 在自动收集的大型captions数据集上通过两个预训练任务对模型进行预训练，然后将其迁移到多个视觉和语言下游任务中，视觉问答、视觉常识推理、引用表达式和基于caption的图像检索。......
[读论文]语言视觉多模态预训练模型 ViLBERT
Redflashing
10-04 1573
论文地址：https://arxiv.org/abs/1908.02265 代码实现：https://github.com/facebookresearch/vilbert-multi-task 图1.ViLBERT 模型由视觉（绿色）和语言（紫色) 组成，它们通过 co-attentional transformer layer 进行互动。这种结构允许每种模式有不同的深度，并通过共同注意力实现稀疏的互动。带有乘数下标的虚线框表示重复的块。 1. Introduction ​ 针对视觉和语言任务的预训练
多模态之ViLBERT：双流网络，各自为王
Kaiyuan_sjtu的博客
07-13 1290
通篇读完这个论文，需要解决如下问题：ViLBERT架构是什么样子的？ViLBERT预训练任务是什么？ViLBERT实现细节有哪些？1. ViLBERT架构是什么样子的？首先我们来聊第一个问...
Day05实习日记1
08-08
"Day05实习日记1" 通过阅读 Day05 实习日记1，我们可以总结出以下几个关键的知识点： 1. HTML 基础知识： 在这篇实习日记中，我们可以看到作者在学习 HTML 的基础知识，包括文本格式化标签、字符实体、锚点等。...
Day08实习日记1
08-08
Java 实习日记 Day08 本篇日记记录了暑期 Java 实训的第八天，日期为 2017 年 7 月 11 日星期二。通过本篇日记，我们可以了解到当天的学习内容和学习体验。 一、回顾昨天的内容 在上午的学习中，首先预留出了半...
Day11实习日记1
08-08
Day11 实习日记 1，表明这是一个 Java 实训项目的日记记录，记录了作者在学习 Java Web 开发时的经验和感受。 描述解释 描述部分为空，这表明作者主要是记录自己的实践经验和感受，而不是对项目的总结或介绍。 ...
Day10实习日记1
08-08
通过阅读Day10实习日记1，我们可以了解到Spring MVC框架的基本概念和实践操作。以下是从标题、描述、标签和部分内容中提取的知识点： 一、Spring MVC框架介绍 * Spring MVC是一种基于Java的Web应用程序框架，提供...
Day03实习日记1
08-08
本日记记录了暑期 Java 实训的第三天的学习内容，涵盖了 Java 编程基础知识、IO 流操作、文件管理、数据库配置和 Java EE 入门等方面的知识点。 首先，在上午的学习中，我们 review 了前一天的作业，并预留出半小时...
vilbert-multi-task:多任务视觉和语言
05-03
12合1：多任务视觉和语言表示学习 如果使用此代码，请引用以下内容。 代码和预训练模型： @InProceedings{Lu_2020_CVPR, author = {Lu, Jiasen and Goswami, Vedanuj and Rohrbach, Marcus and Parikh, Devi and Lee, Stefan}, title = {12-in-1: Multi-Task Vision and Language Representation Learning}, booktitle = {The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, month = {June}, year = {2020} } 和： @inproceedings{lu2019vilber
vilbert_beta
05-03
维伯特 ViLBERT_beta已被弃用。 请参阅 ，其中包括用于 代码和预训练模型预训练。 *注意：该代码库仍处于beta版本中，用于复制论文的性能。 * 储存库设定 创建一个新的conda环境，并安装所有依赖项。 conda create -n vilbert python=3.6 conda activate vilbert git clone https://github.com/jiasenlu/vilbert_beta cd vilbert_beta pip install -r requirements.txt 安装pytorch conda install pytorch torchvision cudatoolkit=10.0 -c pytorch 按照安装apx 编译工具 cd tools/refer make 资料设定 有关详细信息，请检查data下的READ
ViLBERT—(NeurIPS-2019)
大肉包的博客
09-17 1119
预训练+迁移学习
多模态bert-基于双流的bert 笔记 ViLBert、LXMERT、IMAGEBERT
机器学习专栏
04-10 4490
ViLBert paper: ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks 基于双流的 ViLBERT，在一开始并未直接对语言信息和图片信息进行融合，而是先各自经过 Transformer 的编码器进行编码。分流设计是基于这样一个假设，...
【论文】ViLBERT
Aries_young的博客
10-07 534
【论文】Lu, Jiasen, Dhruv Batra, Devi Parikh, and Stefan Lee. Vilbert: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. （pdf） What is ViLBERT 以往的 vision-and-language 任务都是先预训练好独立语言和视觉模型，然后针对特定的任务进行学习。这种方法的问题明显，就是缺少两者之间.
Element学习（布局组件、案例操作）（4）
最新发布
m0_74363339的博客
08-08 369
value：表示输入的值，提交表单后传给服务器的值——>"男"表示1，"女"表示2。定义数据模型时，对象要使用大括号。像这里searchForm: {....}3、这一步之后的效果展示（只是空有一个布局——>目前还没有任何的内容）2、找到这种布局对应的代码（复制——>粘贴到标签<div>中）5、 在主展示区域的上方添加"员工查询"的（且独占一行）表单。还有一个当点击"查询"按钮时，会触发一个方法，也要去声明。7、给表格增加一个边框——>加入border属性即可。6、日期选择器——>(官网中组件中找)
自习 leetcode+react官方文档学习
weixin_63681863的博客
08-08 498
哈希完结+ 字符串第一题。
日常学习--20240806
xxm13679073037的博客
08-07 807
调优
Zero123++ 论文学习
calvinpaean的博客
08-07 1080
随着新视图生成模型的涌现，3D 内容生成领域取得了显著进展，这些模型利用了强大的 2D 扩散生成先验知识，这些 2D 扩散模型是在互联网上的大规模数据集训练得到的。如果没有全局条件，针对可见区域生成的内容还是不错的，但是对于不可见区域，则生成质量就急剧下降了，因为模型缺乏推理物体的全局语义的能力。Reference Attention 指的就是，在对模型的输入去噪时，对一个额外的参考图像使用去噪 UNet 模型，并将参考图像中得到的自注意力 key 矩阵和 value 矩阵附加到去噪模型的相应的注意力层。
前端学习日记： Day5 - 简单计算与二级联动
在这一天的学习中，我们将通过两个实例来深入理解这两个语言的基础用法。 首先，我们来看第一个实例：简单的计算功能。这个例子展示了如何使用HTML创建用户界面，包括两个输入框（`）用于输入数值，一个加号（`+`）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值