- 博客(301)
- 资源 (10)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 跨模态检索综述A Survey of Full-Cycle Cross-Modal Retrieval: From a Representation Learning Perspective
图1.跨模态检索中的问题和挑战。
2023-08-26 12:42:27
91
3
原创 详细介绍Webpack5中的Plugin
webpack在运行过程中会广播事件，插件只需要监听它所关心的事件，就能加入到这条生产线中，去改变生产线的运作。站在代码逻辑的角度就是：webpack在编译代码过程中，会触发一系列 Tapable钩子事件，插件所做的就是找到相应的钩子，往上面挂上自己的任务，也就是注册事件，这样当webpack构建的时候，插件注册的事件就会随着钩子的触发而执行了。开发插件，离不开这些钩子。插件Plugin可以扩展webpack，加入自定义的构建行为，使 webpack 可以执行更广泛的任务，拥有更强的构建能力。
2023-07-31 19:18:01
553
2
原创 跨模态检索论文阅读：Discrete-continuous Action Space Policy Gradient-based Attention for Image-Text Matching
现有的跨模态图文检索方法并没有明确地将不同的模态转换到一个共同的空间。同时，在图像-文本匹配模型中广泛使用的注意力机制不具备监督功能。我们提出了一种新颖的注意力方案，它将图像和文本嵌入投射到一个共同的空间，并直接根据评估指标优化注意力权重。所提出的注意力方案可视为一种监督注意力，无需额外注释。它通过一种新颖的离散-连续动作空间策略梯度算法进行训练，与之前的连续动作空间策略梯度算法相比，该算法在模拟复杂动作空间时更加有效。
2023-07-29 09:57:33
122
2
原创 详细介绍Webpack5中的Loader
用来清理 js 代码中的console.log// 将console.log替换为空 return content . replace(/ console\.log\(.*\);?/ g , "");
2023-07-27 10:15:51
499
1
原创 万字长文详解Webpack5高级优化
使用 Source Map 让开发或上线时代码报错能有更加准确的错误提示。使用 HotModuleReplacement 让开发时只重新编译打包更新变化了的代码，不变的代码使用缓存，从而使更新速度更快。使用 OneOf 让资源文件一旦被某个 loader 处理了，就不会继续遍历了，打包速度更快。使用 Include/Exclude 排除或只检测某些文件，处理的文件更少，速度更快。使用 Cache 对 eslint 和 babel 处理的结果进行缓存，让第二次打包速度更快。
2023-07-26 09:45:36
625
原创 怎么在Linux中用tmux跑深度学习模型
当我们SSH 登录远程服务器，打开一个远程窗口执行命令，网络中断再次登录的时候，是找不回上一次执行的命令的。因为上一次 SSH 会话已经终止了，里面的进程也随之消失了。最常见的就是使用vscode连接远程服务器跑的深度学习任务，自己的电脑中途断网了再次登录找不到上一次执行的命令。为了解决这个问题，即将会话与窗口"解绑"：窗口关闭时，会话并不终止，而是继续运行，等到以后需要的时候，再让会话"绑定"其他窗口。这时就需要用到**Tmux**这个会话与窗口的"解绑"工具，将它们彻底分离。
2023-07-24 10:59:29
541
4
原创 详细总结Webpack5的配置和使用
webpack是一种前端静态资源打包工具。在webpack看来,前端的所有资源文件(js/json/css/img/less/…)都会作为模块处理。以一个或多个文件作为打包的入口，将我们整个项目所有文件编译组合成一个或多个文件输出出去。输出的文件就是编译好的文件，就可以在浏览器段运行了。它将根据模块的依赖关系进行静态分析，打包生成对应的静态资源(bundle)。
2023-07-23 00:46:46
777
1
原创 跨模态检索论文阅读：(ViLT)Vision-and-Language Transformer Without Convolution or Region Supervision
ViLT使用预训练的ViT来初始化交互的transformer，这样就可以直接利用交互层来处理视觉特征，不需要额外增加一个视觉encoder。文本特征输入部分，将文本看成一个词序列，通过word embedding matrix转化成word embedding，然后和position embedding进行相加，最后和modal-type embedding进行concate。
2023-07-17 16:15:00
567
3
原创 跨模态检索论文阅读：(PTP)Position-guided Text Prompt for Vision-Language Pre-training
在这项工作中，我们提出了一种新的位置引导的文本提示（PTP）范式，以提高用VLP训练的跨模态模型的视觉定位能力。具体来说，在VLP阶段，PTP将图像分为N×N块，并通过VLP中广泛使用的目标检测器识别每个块中的目标。然后，它通过鼓励模型预测给定区块中的目标或重新定义给定目标的区块，将视觉定位任务重新表述为给定PTP的填空问题，例如，在PTP中填写"[P]“或”[O]"，“区块[P]中有一个[O]”。 这种机制提高了VLP模型的视觉定位能力，从而帮助它们更好地处理各种下游任务。
2023-06-23 12:18:14
1131
2
原创 跨模态检索2023年最新顶会论文汇总
我们的实验验证了我们的检索增强对比性（RECO）训练在几个具有挑战性的细粒度任务上大幅提高了CLIP的性能：例如，在斯坦福Cars上+10.9，在CUB-2011上+10.2，在最近的OVEN基准上+7.3。在本文中，我们提出了一种新的图像文本检索技术，被称为鲁棒的视觉语义嵌入（RVSE），它由新的基于图像和文本的增强技术组成，称为图像语义保护增强（SPAugI）和文本增强（SPAugT）。在全局和局部跨模态混合相似性的基础上，所提出的方法实现了最先进的检索性能，与最近的代表性方法相比，推理时间极短。
2023-06-22 11:47:00
1124
3
原创 跨模态检索最新高质量综述《Image-text Retrieval: A Survey on Recent Research and Development》
本文从四个方面对ITR方法进行了全面和最新的调查。通过将ITR系统剖析为两个过程：特征提取和特征对齐，我们从这两个角度总结了ITR方法的最新进展。在此基础上，对ITR系统的效率研究作为第三个角度进行了介绍。为了与时俱进，我们还从第四个角度对跨模态预训练的ITR方法进行了开创性的概述。最后，我们概述了ITR的通用基准数据集和评估指标，并对有代表性的ITR方法进行了准确性比较。本文最后还讨论了一些关键但研究不多的问题。
2023-06-17 14:21:28
704
3
原创 跨模态检索论文阅读：Dissecting Deep Metric Learning Losses for Image-Text Retrieval(GOAL)
提出了一个通用框架GOAL来全面分析现有深度度量学习损失函数的梯度更新，并应用这个框架来帮助寻找VSE问题的更好目标。提出了一种新的方法，通过用梯度目标家族来优化模型，而不是使用损失函数，直接处理图像-文本检索任务。展示了对现有方法的持续改进，在COCO数据集的图像-文本检索任务中取得了最先进的结果。
2023-06-14 19:31:57
1218
5
原创 论文阅读：Towards a Unified View of Parameter-Efficient Transfer Learning对参数高效迁移学习的统一看法
参数高效的微调在NLP中是较新的方法，早期的代表工作是2019年发表的adapter。2021年开始有越来越多的人关注这一方向并有不同的方法被提出， 代表工作有prefix tuning, P-tuning, prompt tuning, bitfit, LoRA等。本文中提供了统一的角度对这些工作进行了分类。
2023-05-26 17:24:36
770
3
原创 跨模态检索论文阅读：Multi-Grained Vision Language Pre-Training: Aligning Texts with VisualConcepts(X-VLM)
提出进行多粒度的视觉语言预训练，以处理文本和视觉概念之间的对齐问题。提出通过定位图像中的视觉概念来优化模型（X-VLM），并同时将文本与视觉概念对齐，其中的对齐是多粒度的。通过经验验证，我们的方法在微调中有效地利用了学到的多粒度对齐。 具有256×256图像分辨率的X-VLMbase在许多下游的V+L任务上比现有的最先进的方法取得了实质性的改进。
2023-05-16 16:17:13
239
4
原创 跨模态检索论文泛读：VisualSparta-利用加权的词袋进行大规模的文本到图像的检索
VisualSparta，一个高效的跨模态检索模型，同时保证检索精度；该模型结合了预训练编码器和细粒度级别的打分方式；大规模的图像倒排索引使得检索非常高效，适合现实场景的跨模态检索。
2023-05-10 10:38:08
352
2
原创 SSH远程登录 提示access denied
当用MobaXterm远程连接服务器时出现上面的错误，可能是因为服务器配置的问题(网上有很多方法)，也可能是用户名错误这样的低级问题。改为root后输入密码即可成功连接。
2023-05-05 14:58:09
1164
1
原创 2023前端大厂高频面试题之项目篇
如何减少前端页面的首屏加载时间？网站性能优化说一下你在前端项目中遇到印象深刻的项目场景，并且怎么解决的？前端攻击有哪些，抵御前端攻击的方式有哪些前端工程化在做完前端项目之后，一般都会写哪些文档，readme里面写一些什么？
2023-05-02 11:58:37
981
1
原创 ALBEF：基于动量蒸馏的视觉语言表示学习
大规模的视觉和语言表征学习在各种视觉-语言任务上显示出有希望的改进。大多数现有的方法采用了基于Transformer的多模态编码器来联合建模视觉标记（基于区域的图像特征）和单词标记。由于视觉标记和单词标记是不一致的，多模态编码器要学习图像-文本的相互作用是很有挑战性的。在本文中，我们引入了一种对比性的损失，通过跨模态的注意力，将图像和文本表征进行ALign BEfore Fusing（ALBEF），这使得视觉和语言表征的学习更加接地气。
2023-05-01 21:03:50
685
5
原创 2023前端大厂高频面试题之浏览器篇
从一个url地址到页面完成渲染，发生了什么？有了IP地址怎么找到指定的服务器（ARP协议）前端攻击有哪些，抵御前端攻击的方式有哪些网络劫持有哪些，怎么防范Cookie、sessionStorage、localStorage 的区别浏览器内核有哪些同源策略如何解决跨越问题强缓存和协商缓存浏览器标签页用进程还是线程来实现？如何实现浏览器内多个标签页之间的通信?
2023-04-26 14:39:43
243
1
原创 2023大厂高频面试题之Vue篇(2)
虚拟DOM的理解vue 和 react 里的key的作用是什么? 为什么不能用Index？用了会怎样? 如果不加key会怎样?为何Vue采用异步渲染Vue.nextTick()组件中的 data为什么是一个函数为什么new Vue这个里面的data可以放一个对象？vue如何检测数组变化ajax请求放在哪个生命周期中Vue父子组件生命周期调用顺序Vue组件为什么只能有一个根元素？vue 的keep-alive的作用是什么？怎么实现的？如何刷新的?何时需要使用beforeDestroy
2023-04-25 09:55:44
199
原创 Vue报错解决[Vue warn]: Error in render: “TypeError: Cannot read property ‘state‘ of undefined“
这个错误提示通常出现在 Vue 组件中，它尝试读取 Vuex store 的 state 对象，但是该对象没有被定义。这假设 store.js 文件位于 src/store 目录中。如果store.js 文件位于其他目录中，请相应地更改导入路径。如果 Vuex store 中没有定义尝试使用的状态，则会出现这个错误。反复确认代码后，发现并没有上述问题。这里的 myState 是Vuex store 中定义的状态名称。如果组件中使用其他名称，请相应地更改代码。3.Vuex store 中没有定义所需的状态。
2023-04-24 19:31:12
1344
原创 跨模态检索论文阅读：Context-Aware Attention Network for Image-Text Retrieval
图像-文本双向检索在很大程度上依赖于每个图像-文本对的联合嵌入学习和相似性度量。先前的工作很少同时探索模态之间的语义对应和单一模态的语义关联。在这项工作中，我们提出了一个统一的上下文感知注意力网络工作（CAAN），它通过聚合全局上下文有选择地关注关键的局部片段（区域和单词）。具体来说，它同时利用全局模态间的对齐和模态内的关联来发现潜在的语义关系。考虑到检索过程中图像和句子之间的相互作用，模内关联来自于对区域-词排列的二阶关注，而不是直观地比较原始特征之间的距离。
2023-04-10 13:50:24
593
4
原创 2023前端大厂面试题之JavaScript篇(4)
严格模式use strictJavaScript this 关键字call、apply和bindmap 和 weakMap 的区别js 延迟加载的方式js的模块化规范JavaScript多态JavaScript中常见设计模式冒泡和捕获JS 单线程的好处路由懒加载js 垃圾回收机制js释放变量内存哪些操作会造成内存泄漏
2023-04-06 13:40:49
192
原创 详细介绍React路由
单页Web应用（single page web application，SPA），整个应用只有一个完整的页面，点击页面中的链接不会刷新页面，只会做页面的局部更新。当有多个path相同的情况，不用Switch包的话匹配到home时，第一个匹配了还会往下继续匹配，第二个也会匹配，从而两个都展示，包住后匹配到第一个后就不往下匹配了，从而只显示第一个。1.默认使用的是模糊匹配（输入的路径to必须包含要匹配的路径paath，且顺序要一致）。3.严格匹配不要随便开启，需要再开，有些时候开启会导致无法继续匹配二级路由。
2023-04-05 22:12:03
919
原创 React脚手架
项目的整体技术架构为: react + webpack + es6 + eslint，使用脚手架开发的项目的特点: 模块化, 组件化, 工程化。第二步，切换到想创项目的目录，使用命令：create-react-app project_name。(2)【子组件】给【父组件】传递数据：通过props传递，要求父提前给子传递一个函数。——某个组件使用：放在其自身的state中。
2023-04-04 12:36:53
687
1
原创 跨模态检索的持续学习
多模态表示和持续学习是与人类智能密切相关的两个领域。前者考虑了共享表示空间的学习，其中来自不同模态的信息可以进行比较和集成(我们关注语言和视觉表示之间的跨模态检索)。后者研究如何防止在学习新任务时忘记以前学过的任务。虽然人类在这两个方面表现出色，但深度神经网络仍然相当有限。在本文中，我们提出将这两个问题结合到一个连续的跨模态检索设置中，在其中我们研究了新任务引起的灾难性干扰如何影响嵌入空间及其有效检索所需的跨模态对齐。我们提出了一个通用框架，将训练、索引和查询阶段解耦。
2023-04-02 15:46:47
833
2
原创 一道例题理清ACM模式的多行输入输出(js和Python版)
具体的已经在之前这篇博客里讲的很清楚了：《用Python3在牛客网acm模式刷题怎么输入输出》，本文作为一个实际的例子辅助说明一下。
2023-03-31 21:27:55
334
原创 跨模态检索论文阅读：Cross Modal Retrieval with Querybank Normalisation
利用大规模的训练数据集、神经结构设计的进步和高效的推理，联合嵌入式已经成为解决跨模式检索的主流方法。本文表明，尽管它们很有效，但最先进的联合内嵌技术受到长期存在的 "hubness问题 "的严重影响，在这个问题上，少量的图库内嵌形成了许多查询的最近邻居。从NLP文献中得到启发，本文提出了一个简单而有效的框架，称为Querybank Normal-isation (QB-NORM)，对查询的相似性进行重新规范，以考虑嵌入空间中的hubs。
2023-03-28 11:27:08
319
2
原创 跨模态检索论文阅读：IMRAM
本文为了解决这一缺陷，提出了一种基于循环注意记忆网络的迭代匹配与循环注意记忆(IMRAM)方法，以渐进的方式探索图像和文本之间的细粒度对应关系，具有两个特点:(1)具有跨模态注意单元的迭代匹配方案，以对齐来自不同模态的片段，(2)记忆蒸馏单元用于将对齐知识从早期步骤细化到后续步骤。在Flickr8K、Flickr30K和MS COCO三个基准数据集以及一个用于实际商业广告场景的新数据集(即KW AI-AD)达到SOTA。
2023-03-23 13:47:30
245
3
原创 论文阅读：Adversarial Cross-Modal Retrieval对抗式跨模式检索
对抗性跨模态检索（ACMR）方法，它在对抗性学习的基础上寻求有效的共同子空间。对抗性学习是作为两个过程的相互作用来实现的。第一个过程，一个特征映射器，试图在公共子空间中生成一个模态不变的表示，并混淆另一个过程，即模态分类器，它试图根据生成的表示来区分不同的模态。我们进一步对特征映射器施加三重约束，以使具有相同语义标签的不同模态项的表示之间的差距最小化，同时使语义不同的图像和文本之间的距离最大化。
2023-03-09 20:14:53
1114
2
原创 CLIP论文阅读
迁移学习方式就是先在一个较大规模的数据集如ImageNet上预训练，然后在具体的下游任务上再进行微调。这里的预训练是基于有监督训练的，需要大量的数据标注，因此成本较高。近年来，出现了一些基于自监督的方法，这包括基于对比学习的方法如MoCo和SimCLR，和基于图像掩码的方法如MAE和BeiT，自监督方法的好处是不再需要标注。但是无论是有监督还是自监督方法，它们在迁移到下游任务时，还是需要进行有监督微调，而无法实现zero-shot。有监督模型：在新的数据集上需要定义新的分类器来重新训练。
2023-02-26 11:43:52
463
3
原创 详细介绍React生命周期和diffing算法
在定义组件时，会在特定的生命周期回调函数中，做特定的工作。React使用的是自定义(合成)事件, 而不是使用的原生DOM事件 —— 为了更好的兼容性；React中的事件是通过事件委托方式处理的(委托给组件最外层的元素) ——为了的高效。函数的柯里化：通过函数调用继续返回函数的方式，实现多次接收参数最后统一处理的函数编码形式。1). 简单的说: key是虚拟DOM对象的标识, 在更新显示时key起着极其重要的作用。(2).若虚拟DOM中内容变了, 则生成新的真实DOM，随后替换掉页面中之前的真实DOM。
2023-02-22 23:07:24
298
原创 React组件的用法和理解
state是组件对象最重要的属性, 值是对象(可以包含多个key-value的组合)；组件被称为"状态机", 通过更新组件的state来更新对应的页面显示(重新渲染组件)。React.createRef调用后可以返回一个容器，该容器可以存储被ref所标识的节点,该容器是“专人专用”的。每个组件对象都会有props(properties的简写)属性；通过标签属性从组件外向组件内传递变化的数据；注意: 组件内部不要修改props数据(只读的)。组件内的标签可以定义ref属性来标识自己。1.字符串形式的ref。
2023-02-16 21:15:13
374
原创 React中JSX的用法和理解
使用DOM+diff算法，最大限度地减少与DOM的交互。2.虚拟DOM比较“轻”，真实DOM比较“重”，因为虚拟DOM是React内部在用，无需真实DOM上那么多的属性。(1).若小写字母开头，则将该标签转为html中同名元素，若html中无该标签对应的同名元素，则报错。2.如果A类继承了B类，且A类中写了构造器，那么A类构造器中的super是必须要调用的。1.类中的构造器不是必须要写的，要对实例进行一些初始化的操作，如添加指定属性时才写。3.类中所定义的方法，都放在了类的原型对象上，供实例去使用。
2023-02-12 22:08:31
348
原创 详细介绍Sentence-BERT:使用连体BERT网络的句子嵌入
Sentence-BERT（SBERT）是一个使用连体和三连体BERT网络的修改，能够得出有语义的句子嵌入。这使得BERT能够用于某些目前为止还不适用于BERT的新任务。这些任务包括大规模的语义相似性比较、聚类和通过语义搜索的信息检索。BERT在各种句子分类和句子对回归任务上创造了新的最先进的性能。BERT使用交叉编码器：两个句子被传递给transformer网络并预测目标值。然而由于可能的组合太多，这种设置不适合各种配对回归任务。
2023-01-30 16:24:34
1952
2
原创 详细介绍文本检索基准BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models
本文提出了文本检索任务的基准，使用了来自不同领域和任务复杂性的 18 个现有数据集，并涵盖了用于展示检索和排名性能的各种模型，尤其是在迁移学习环境中。这项工作的主要贡献是为检索系统的零样本评估提出了一个标准化基准。它在各种任务和领域上测试检索系统。以前的（标准化的）基准测试包括一个狭窄的评估设置，无论是关于他们的任务（例如 MultiReQA 只专注于问答）还是关于他们的检索语料库（例如 KILT 只是从维基百科检索）。BEIR 克服了这个缺点，为新的检索方法提供了一个易于使用的评估框架。
2023-01-01 21:21:21
1082
7
原创 详细介绍Deeper Text Understanding for IR with Contextual Neural Language Modeling
神经网络为自动学习复杂的语言模式和查询-文档关系提供了新的可能性。神经IR模型在学习查询文档相关性模式方面取得了可喜的成果，但在理解查询或文档的文本内容方面却鲜有探索。本文研究利用上下文神经语言模型BERT，为IR提供更深入的文本理解。 实验结果表明，BERT的上下文文本表示比传统的单词嵌入更有效。与词包检索模型相比，上下文语言模型可以更好地利用语言结构，为用自然语言编写的查询带来很大的改进。将文本理解能力与搜索知识结合起来，形成一个增强的预训练BERT模型，可以使训练数据有限的相关搜索任务受益。
2022-12-25 13:16:33
922
6
原创 Transformer Memory as a Differentiable Search Index论文阅读
可区分搜索索引（DSI），这是一种以统一方式学习端到端搜索系统的新范式，为下一代搜索铺平了道路。我们定义了新颖的索引和检索任务，将术语和文档之间的关系完全编码在Transformer模型的参数中。该论文提出了一些表示文件和文档的不同方式，并探索了不同的模型架构和模型训练策略。在Natural Questions数据集上进行的实验表明，无论是在标准的微调设置中，还是在零样本学习设置中，DSI的表现都优于常见的基准，如BM25和双编码器。
2022-12-14 16:30:43
889
5
原创 详细介绍NLP文本摘要
文本摘要也是文本生成的应用，旨在将文本或文本集合转换为包含关键信息的简短摘要。摘要应该涵盖最重要的信息，同时要连贯无冗余，并在语法上可读。
2022-12-09 17:03:32
3420
1
深度学习三巨头在Nature上共同发表的名为《深度学习》的综述文章
2022-05-20
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
2021-03-18
Pycharm、Anaconda安装文档.pdf
2020-03-29
Python程序设计基础与应用
2020-03-08
机票预订系统（完整项目可运行）
2020-02-29
关于#c++#的问题：C++项目中怎么单独编译一个.cc文件
2022-07-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人