【论文】Positve-Augmented Contrastive Learning for Image and Video Captioning Evaluation 待详细阅读

已于 2023-09-25 23:36:47 修改
阅读量244 收藏
点赞数
文章标签： 深度学习 人工智能
于 2023-09-25 23:34:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nyist_yangguang/article/details/133283959
版权

程序猿的探索之路
关注
论文阅读笔记 | 三维目标检测——PointRCNN
Clichong
11-15 2062
在PointRCNN诞生之前，对于点云的物体检测基本上是利用鸟瞰图（多视图的投影）或者是量化成Voxel再进行3D卷积的方法实现，这样量化的操作其实相比直接利用点云输入是有部分信息的丢失，而且3D卷积的计算量也较大。基于这个出发点，PointRCNN是第一个比较work完全以点云数据为输入的3d检测算法。 以点云为输入就必然需要面对点云无序性等问题，但是也有其中的优势。相比于2d目标检测的ground truth是有可能重叠的，在一个3维空间中的object之间是彼此独立不可能重叠，也就是说对于点云数据的
论文笔记：Contrastive Learning for Image Captioning
Jamie的技术博客
01-31 5030
原文链接：Contrastive Learning for Image Captioning Introduction 本文的提出的Contrastive Learning (CL) 主要是为了解决Image Caption任务中生成的Caption缺少Distinctiveness的问题。 这里的Distinctiveness可以理解为独特性，指的是对于不同的图片，其caption...
字节跳动CVPR 2023论文精选来啦（内含一批图像生成新研究）
我爱计算机视觉
04-06 2969
CVPR 2023 将于六月在加拿大温哥华举办，本文介绍字节跳动技术团队的同学们的部分中选论文，覆盖文本生成图像、语义分割、目标检测、自监督学习等多个领域，其中不少成果代码已开源，欢迎Star~一个简洁的文本监督语义分割框架A Simple Framework for Text-Supervised Semantic Segmentation这项工作由字节跳动商业化技术团队与上海交通大学、早稻田大...
【论文阅读笔记】（2022 ECCV）Contrastive Positive Mining for Unsupervised 3D Action Representation Learning
qq_36627158的博客
08-21 1043
论文在骨架点序列上做了一个自监督对比学习任务：首先对一段骨架点序列分别做两次数据增强，分别送入两个分支，分别得到两个增强样本的特征。比起直接拉近两个增强样本之间特征的距离，这篇论文拉近的是：这两个增强样本与队列中的 N 个样本相似程度的分布。同时，除了两个增强样本互为各自的正样本，在训练的第二阶段里，模型还会使用 Positive Mining 策略将队列中的某些样本也作为这两个增强样本的正样本，进行positive-enhanced 的对比学习。
mantranet:manipulation tracing network for detection and localization of image forgeries
liguandong
09-05 1095
文中有关于这么设计的思路，首先特征提取层是一个vgg16，后面接一个local anomaly detection network，最后还是bce loss，算是标准的语义分割问题，不过也讨论了BayerConv2d是一种约束卷积层的方式，可以抑制图像痕迹的影响，自适应提取图像的篡改特征。这些属于在结构上的优化设计，在后续的天池的篡改比赛中，在文档场景也有提出了这些clue设计的滤波器其实是效果不太好的，并不能针对特定场景有比较好的效果。写的其实挺好的，有两个点。
Improved Deep Metric Learning with Multi-class N-pair Loss Objective论文N-pair loss解读与实现
热门推荐
silence2015的专栏
12-07 1万+
论文：NIPS2016 Improved Deep Metric Learning with Multi-class N-pair Loss Objective 距离度量学习旨在学习在嵌入空间能够保使得相似数据点靠的近，不相似数据离得远的一种数据嵌入表达技术。得益于深度学习的迅速发展，深度度量学习受到广泛关注。相比于标准的距离度量学习，深度学习能够学习到一种非线性的嵌入表达，这种嵌入表达配合c...
Hands-On-Machine-Learning-with-Scikit-Learn-Keras-and-Tensorflow读书笔记
weixin_41679150的博客
08-06 383
Hands-On-Machine-Learning-with-Scikit-Learn-Keras-and-Tensorflow 学习笔记1-Precion and Recall 用CSDN记录一下读书时候学到的知识，方便以后翻阅。 文章目录Hands-On-Machine-Learning-with-Scikit-Learn-Keras-and-Tensorflow 学习笔记1-Precion and Recall前言一、TN, TP, FN, FP二、Precision and Recall1.Prec
多模态模型BLIP(Bootstrapping Language-Image Pre-training)论文与代码分析
hjhr2018的博客
07-15 1468
1、从模型角度来看，大多数方法要么采用基于编码器的模型，要么采用编码器-解码器模型。编码器的模型不太容易直接迁移到文本生成的任务中，如图像标题（image captioning）等；编码器—解码器模型还没有被成功用于图像-文本检索任务。2、从数据角度来看，大多数sota的方法，如CLIP都是对从网上收集的图像—文本对（image-text pair）进行预训练。尽管可以通过扩大数据集的规模来获得性能上的提高，但研究结果显示，有噪声的网络文本对于视觉语言学习来说只能得到次优的结果。
论文概读：FPN-feature --Pyramid networks for object detection
有所为，有所成长
08-05 363
1 摘要 目前大家不爱用特征金字塔，理由是巨大的计算和存储花费 我们提出了一个多层次不同scale的卷积神经网络以很少的cost来建造特征金字塔。称作FPN 我们的网络结合Faster RCNN取得了COCO2016的最佳效果 2 引入 2.1 featurized image pyramids 下图（a）表示的就是基于图像的特征金字塔，这是在对每一scale的图像分别进行特征提取，当然在检测...
IF KEYWORD_SET(MaxColumn) THEN BEGIN IF (MaxColumn LT 1) Then begin message, 'MaxColumn Must be the positve Integer number.' end MaxCoL=MaxColumn ENDIF else begin MaxCoL=20;最大列默认为20列 END ;----------------------------------------- File="D:\Desktop\drought_characteristic\2022_output\file\1111.txt" FTresult = FILE_TEST(File) if (FTresult NE 1) then begin message, 'File Not Found!' endif ;----------------------------------------- ;初始化数据 Data=make_array(1,1,/DOUBLE);文件中没有数据时就返回此值 ;----------------------------------------- fs=fileread(file) ;----------------------------------------- ;最多MaxCoL列nn行 if (n_elements(fs) GT 0) then begin ;----------------------------------------- FileData=make_array(MaxCoL,n_elements(fs),/DOUBLE) LineCount=make_array(1,n_elements(fs),/UINT) ;=========================================================== for n=0L,n_elements(fs)-1 DO BEGIN LineStr=fs[n]; rbool=StringToDoubleArray(LineStr,DoubleArray,Count); ;----------------------------------------- if ((rbool eq 1) && (Count GT 0))then begin MinColSet=make_array(2,1,/DOUBLE) MinColSet[0]=MaxCoL; MinColSet[1]=Count; ;----------------------------------------- for LC=0L,min(MinColSet)-1 Do begin FileData[LC,n]=DoubleArray[LC]; endfor ;----------------------------------------- LineCount[n]=min(MinColSet) endif ;----------------------------------------- endfor ;=========================================================== validrow=where(LineCount GT 0) ;----------------------------------------- if (max(LineCount) GT 1)AND(n_elements(validrow) GT 1) then begin Data=FileData[0:(max(LineCount)-1),validrow]; endif ;----------------------------------------- endif将这段代码的功能改成转换为字符串数组
05-17
message, 'MaxColumn Must be the positve Integer number.' end MaxCoL=MaxColumn ENDIF else begin MaxCoL=20;最大列默认为20列 END ;----------------------------------------- File="D:\Desktop\drought_...
用TextBlob进行中文情感分析
AI天才研究院
09-15 3368
在对文本数据进行分析时，我们需要对语言、语法、结构、以及意义等进行抽象理解。然而，对于中文来说，由于其复杂的文法规则，构建一个完备的语言模型会是一个具有挑战性的任务。而机器学习领域中的文本分类、序列标注方法也仅仅局限于英文文本，中文文本的分析更加困难。为了解决这个问题，我们可以使用强大的文本处理库TextBlob，它可以帮助我们处理中文文本。特别地，TextBlob提供了一种基于规则的分词器（即按照固定模式切分文本）和命名实体识别功能，能极大地提升中文文本的处理效率。同时，TextBlob。
【6Dof位姿估计】PointPoseNet：Accurate Object Detection and 6 Dof pose Estimation In Point Clouds论文理解
给时光以生命
04-13 1978
只是用点云数据的6D估计方法
Overcoming Classifier Imbalance for Long-tail Object Detection with Balanced Group Softmax
HughZou的博客
06-09 482
BAGS；long-tail
从零学习大模型（十一）-----Lottery Ticket Hypothesis剪枝
最新发布
red_guy的博客
10-30 945
Lottery Ticket Hypothesis（LTH）是由 Frankle 和 Carbin 在 2019 年提出的一种剪枝方法，其核心思想是神经网络中存在可以单独训练的小型子网络（即"中奖票"），这些子网络可以在保持原始模型性能的情况下有效地训练。通过找到这些子网络，我们可以实现大模型的剪枝，从而减少模型的计算复杂度和存储需求。
深度学习之激活函数
weixin_43775295的博客
10-30 1045
PiexpθiTx∑k1KexpθiTxPi∑k1K​expθiT​xexpθiT​x​​ 其中，$ \theta_i $ 和 $ x $ 是列向量，$ \theta_i^T x $ 可能被换成函数关于 $ x $ 的函数 $ f_i(x) $​ 通过 softmax 函数，可以使得 $ P(i) $ 的范围在 $ [0,1] $ 之间。
引入了窥视孔连接（peephole connections）的LSTM
m0_73640344的博客
10-29 583
通过引入窥视孔连接，LSTM能够更加精确地控制信息流，因为每个门都可以根据细胞状态的即时值进行调整。这种设计不仅增强了模型的性能，尤其是在需要精细控制内部状态记忆的应用中，如复杂的序列预测和模式识别任务，也提高了决策过程的透明度和直观性。
深度学习：梯度下降算法简介
m0_73640344的博客
10-29 1243
在深度学习的训练过程中，梯度下降算法（Gradient Descent，简称GD）扮演着至关重要的角色。这一算法的核心机制是利用数据集的梯度信息来迭代更新模型参数，以最小化损失函数。接下来，我们将详细讨论其各种变体和进化。1. 随机梯度下降（SGD）由于全批量的梯度下降在面对大规模数据集时会受到内存限制和迭代速度的制约，学者们提出了随机梯度下降（Stochastic Gradient Descent，SGD）。这种方法每次迭代仅使用数据集中的一个小批量样本来计算梯度和更新参数。
【征程 6 工具链性能分析与优化-1】编译器预估 perf 解读与性能分析
地平线开发者
10-30 911
这篇文章中，我们将首先介绍layerdetails中的参数信息，然后将结合实例分析如何利用layerdetails来分析模型的性能瓶颈，进而对模型的性能进行优化。
探索合成数据，在医学视觉语言预训练中的应用可行性
Debroon
10-30 756
医学视觉语言预训练在医学图像理解的零样本任务中展现出巨大潜力。但是,这类模型的训练需要大量高质量的图像-文本配对数据,而医疗领域恰恰缺乏此类数据。随着大语言模型和扩散模型的发展,我们现在可以大规模生成合成的图像-文本数据对。这让我们不禁思考:是否可以仅使用合成数据来训练医学视觉语言模型?为探索这个问题,我们利用现有的生成模型创建了合成的放射学报告和对应的胸部X光图像。我们设计了一套自动化流程来构建一个多样化、高质量的合成数据集,这使我们能够专注于研究数据本身对模型性能的影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序猿的探索之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值