An Unsupervised Sentence Embedding Method by Mutual Information Maximization

最新推荐文章于 2022-07-24 17:16:42 发布
最新推荐文章于 2022-07-24 17:16:42 发布
阅读量299 收藏 1
点赞数 1
分类专栏： NLP Papers NLP AI 文章标签： 自然语言处理 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chansonzhang/article/details/125018319
版权
NLP Papers 同时被 3 个专栏收录
54 篇文章 23 订阅 ¥29.90 ¥99.00
订阅专栏 超级会员免费看
AI
68 篇文章 2 订阅
订阅专栏
NLP
60 篇文章 1 订阅
订阅专栏
本文提出Info-Sentence BERT(IS-BERT)，这是一种使用互信息最大化学习无监督句子嵌入的方法，它在无标签数据上进行训练，并在多个任务上展现出优于其他无监督基线的效果，甚至在某些情况下超越了SBERT。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
chansonzhang
关注
专栏目录
订阅专栏
NLP论文共读计划
Young, Simple, Naive
07-15 766
NLP 之路
无监督领域迁移及文本表示学习的相关进展
Paper weekly
09-29 1711
©作者｜邴立东、何瑞丹、张琰、李俊涛、叶海单位｜阿里巴巴达摩院、新加坡国立大学等摘要随着基于 transformer 的预训练语言模型的广泛应用，多种自然语言处理任务在近一两年来都取得了...
IS-BERT:An Unsupervised Sentence Embedding Method byMutual Information Maximization
asd8705的专栏
04-20 1387
代码地址：https://github.com/yanzhangnlp/IS-BERT
ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding
myl1992的专栏
04-15 1027
ESimCSE：用于无监督句子嵌入对比学习的增强样本构建方法 Xing Wu 1,2,3 , Chaochen Gao 1,2 ∗ , Liangjun Zang 1 , Jizhong Han 1 , Zhongyuan Wang 3 , Songlin Hu 1,2 1 Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China 2 School of Cyber Security, Universi
[NLP论文阅读] Discourse-Based Objectives for Fast Unsupervised Sentence Representation Learning
jx00109的博客
09-14 1240
这篇文章的想法很有意思，为了学习到更好的句子表示，作者没有去设计新的模型来学习句子表示，而是设计了3个预训练目标来预训练已有的句子编码器（Sentence encoder），当模型经过这3个预训练后在针对目标任务进行训练。
论文精读系列-2022.03.11
qq_37069937的博客
07-24 343
句子表征学习见闻
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
Tianchi发布最新AI知识树！
Datawhale
02-13 826
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货来源：Tianchi，方向：AI内容近期Tianchi开放了9大训...
ACL 2021｜美团提出基于对比学习的文本表示模型，效果提升8%
美团技术团队
06-03 1915
总第455篇2021年 第025篇尽管基于BERT的模型在NLP诸多下游任务中取得了成功，直接从BERT导出的句向量表示往往被约束在一个很小的区域内，表现出很高的相似度，因而难以直接用于文...
二元交叉熵损失梯度推导
Young, Simple, Naive
12-01 1万+
二元交叉熵损失（logistic 损失）定义如下： Llogistic(y^,y)=−ylogy^−(1−y)log(1−y^) L_{\text{logistic}}(\hat{y},y) =-ylog\hat{y}-(1-y)log(1-\hat{y}) Llogistic​(y^​,y)=−ylogy^​−(1−y)log(1−y^​) 其中 y∈{0,1}y\in\{0,1\}y∈{0,1...
人类历史上第一个推荐系统
Young, Simple, Naive
12-27 7086
让我们把时间推回到28年前那个风雨交加的夜晚，在一个小破屋里，几个老男人捣鼓出了人类历史上第一个推荐系统——Tapestry
使用NLTK将自然语言查询转化为SQL查询
Young, Simple, Naive
11-21 6246
文章目录 假设我们有一个sql表，如下所示： City Country Population athens greece 1368 bangkok thailand 1178 barcelona spain 1280 berlin east_germany 3481 birmingham united_kingdom 1112 当我们要查找某个athens在哪个...
使用BPE算法处理未登录词
Young, Simple, Naive
11-25 5548
BPE算法的输入是原始字典，其中每个单词被表示成一串字符，BPE算法迭代的执行k次，每次选择一个出现频率最高的符号对进行合并，生成一个新的符号，注意这种合并是不超过单词边界的。 例如原始词典中有张晨光和张晨磊两个单词，频数均为3，但是没有出现张晨 张晨光:3 张晨磊:3 所以我们在使用最大匹配算法进行分词时，如果使用该字典，就会造成张晨被错误分割为张和晨两个词的情况： max match cut...
Softmax求导及多元交叉熵损失梯度推导
Young, Simple, Naive
12-01 4707
假设n为特征个数，K为目标分类个数，则： 对于一个n×1n\times 1n×1输入样本向量 x=(x1,⋯ ,xi,⋯ ,xn)T x=(x_1,\cdots,x_i,\cdots,x_n)^T x=(x1​,⋯,xi​,⋯,xn​)T 一个K×nK\times nK×n的权重矩阵W（每行对应一个类） 以及一个K×1K\times 1K×1...
Unsupervised Data Augmentation for Consistency Training
Young, Simple, Naive
03-12 4541
有限的标注数据也能带来很好的性能
使用NLTK找出所有的语法解析树
Young, Simple, Naive
11-21 4149
使用NLTK完成Udacity公开课CS271（Intro to Artificial Intelligence）的Final Assessment Question 20 首先我们按照题目要求编写语法规则final_question_20.fcfg % start S S[SEM=(?np + ?vp)] -> NP[SEM=?np] VP[SEM=?vp] S[SEM=(?s1 + a...
李航-统计学习方法-习题-第九章
Young, Simple, Naive
11-13 3351
9.2 证明引理 9.2. 引理 9.2 若P~θ(Z)=P(Z∣Y,θ)\widetilde P_\theta(Z)=P(Z|Y,\theta)Pθ​(Z)=P(Z∣Y,θ)，则 F(P~,θ)=logP(Y∣θ) F(\widetilde P, \theta)=logP(Y|\theta)F(P,θ)=logP(Y∣θ). 证明： F(P~,θ)=EP~[logP(Y,Z∣θ)]+H(P~)=...
Parameter-Efficient Transfer Learning for NLP
Young, Simple, Naive
01-22 2339
对于 N 个下游任务，fine-tuning 需要 N 倍预训练模型的参数量，而 Adapter 可以只用接近 1 倍的参数量实现类似的性能。
使用最大匹配算法进行分词
Young, Simple, Naive
11-24 2030
最大匹配算法的原理：每次从句子最左侧分出一个词，这个词是词典中所有和句子当前位置匹配的词里面最长的那一个。 首先我们实现一个最大匹配算法： def max_match(sentence, dictionary): if ("" == sentence): return [] word_end = 1 for i in range(str(sentence)....
an adaptive neural network for unsupervised mosaic consistency analysis in i
最新发布
04-27
针对图像拼接中自动拼接算法的挑战，研究人员提出了一种自适应神经网络，用于无监督图像拼接一致性分析。该算法采用两个步骤进行图像拼接。首先，使用一种自动对齐算法对输入的图像进行对齐。然后，使用适应性神经网络来对齐后的重叠区域进行一致性分析。该算法利用了多个尺度的图像金字塔以及神经网络的分层结构，以生成高质量的拼接图像。 该算法的主要优点是无需人工标注的数据集，可以自动适应不同的数据集，并适应多种不同的图像拼接情况。此外，该算法还具有较高的准确性和鲁棒性，可以在复杂的拼接环境中保持稳定的表现。 总体来说，这种自适应神经网络算法为无监督图像拼接一致性分析提供了一种高效和准确的解决方案。同时，该算法还为应用于自动驾驶、无人机、VR等领域中的数据拼接提供了可能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值