An Unsupervised Sentence Embedding Method by Mutual Information Maximization

最新推荐文章于 2022-07-24 17:16:42 发布
最新推荐文章于 2022-07-24 17:16:42 发布
阅读量242 收藏 1
点赞数 1
分类专栏： NLP Papers NLP AI 文章标签： 自然语言处理 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chansonzhang/article/details/125018319
版权
NLP Papers 同时被 3 个专栏收录
54 篇文章 23 订阅 ¥29.90 ¥99.00
订阅专栏 超级会员免费看
AI
67 篇文章 2 订阅
订阅专栏
NLP
60 篇文章 1 订阅
订阅专栏

背景知识

互信息（Mutual information）指的是两个变量的 联合分布 与 边缘分布 之间的 KL 散度/相对熵 （Kullback–Leibler divergence or relative entropy ）.

Abstract

  • BERT 对于 clustering 和 semantic search 等句子对匹配任务来说不够高效，因为它需要计算每个句子对的组合，这是一个非常耗时的操作。

  • Sentence BERT (SBERT) 通过学习单个句子的语义表示来解决这个问题。

  • 然而 SBERT 是在高质量的标注数据上训练的，这限制了它在标注稀缺场景的使用。本文提出一种基于 互信息最大化 在 BERT 之上的轻量扩展以及一种新颖的自监督学习目标, 以一种无监督的方式来

了解本专栏 订阅专栏 解锁全文 超级会员免费看
chansonzhang
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
An Unsupervised Method for Flotation Froth Image Segmentation Evaluation Based on Image Gray-Level Distribution
02-09
An Unsupervised Method for Flotation Froth Image Segmentation Evaluation Based on Image Gray-Level Distribution
IS-BERT:An Unsupervised Sentence Embedding Method byMutual Information Maximization
asd8705的专栏
04-20 1335
代码地址：https://github.com/yanzhangnlp/IS-BERT
ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding
myl1992的专栏
04-15 866
ESimCSE：用于无监督句子嵌入对比学习的增强样本构建方法 Xing Wu 1,2,3 , Chaochen Gao 1,2 ∗ , Liangjun Zang 1 , Jizhong Han 1 , Zhongyuan Wang 3 , Songlin Hu 1,2 1 Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China 2 School of Cyber Security, Universi
无监督领域迁移及文本表示学习的相关进展
Paper weekly
09-29 1627
©作者｜邴立东、何瑞丹、张琰、李俊涛、叶海单位｜阿里巴巴达摩院、新加坡国立大学等摘要随着基于 transformer 的预训练语言模型的广泛应用，多种自然语言处理任务在近一两年来都取得了...
[NLP论文阅读] Discourse-Based Objectives for Fast Unsupervised Sentence Representation Learning
jx00109的博客
09-14 1139
这篇文章的想法很有意思，为了学习到更好的句子表示，作者没有去设计新的模型来学习句子表示，而是设计了3个预训练目标来预训练已有的句子编码器（Sentence encoder），当模型经过这3个预训练后在针对目标任务进行训练。
论文精读系列-2022.03.11
qq_37069937的博客
07-24 274
句子表征学习见闻
PromptBERT: Improving BERT Sentence Embeddings with Prompts （通篇翻译）
myl1992的专栏
04-15 1132
PromptBERT：使用提示改进BERT句子嵌入 Ting Jiang 1 ∗ , Shaohan Huang 3 , Zihan Zhang 4 , Deqing Wang 1 † , Fuzhen Zhuang 2 , Furu Wei 3 , Haizhen Huang 4 , Liangjie Zhang 4 , Qi Zhang 4 1 SKLSDE Lab, School of Computer, Beihang University, Beijing, China 2 Institute o
An unsupervised microblog emotion dictionary construction method and its application on sentiment analysis
02-11
An unsupervised microblog emotion dictionary construction method and its application on sentiment analysis
Unsupervised segmentation evaluation: an edge-based method
02-22
Unsupervised segmentation evaluation method quantifies the quality of segmentation without the reference segmentation or user assistance. Although some methods have been proposed to statistically ...
2019-UNSUPERVISED INDUCTIVE WHOLE-GRAPH EMBEDDING BY PRESERVING
08-04
图神经网络（GNN）是针对这些图信号定制的信息处理体系结构，由堆叠层构成，这些层叠构成具有非线性激活函数的图卷积滤波器。论文链接：https://arxiv.o
Unsupervised hyperspectral image classification algorithm by integrating spatial-spectral information
02-09
An integrated spatial-spectral information algorithm for hyper spectral image classification is proposed, which uses spatial pixel association (SPA)by exploiting spectral information divergence (SID),...
二元交叉熵损失梯度推导
热门推荐
Young, Simple, Naive
12-01 1万+
二元交叉熵损失（logistic 损失）定义如下： Llogistic(y^,y)=−ylogy^−(1−y)log(1−y^) L_{\text{logistic}}(\hat{y},y) =-ylog\hat{y}-(1-y)log(1-\hat{y}) Llogistic​(y^​,y)=−ylogy^​−(1−y)log(1−y^​) 其中 y∈{0,1}y\in\{0,1\}y∈{0,1...
人类历史上第一个推荐系统
Young, Simple, Naive
12-27 6577
让我们把时间推回到28年前那个风雨交加的夜晚，在一个小破屋里，几个老男人捣鼓出了人类历史上第一个推荐系统——Tapestry
使用NLTK将自然语言查询转化为SQL查询
Young, Simple, Naive
11-21 6094
文章目录 假设我们有一个sql表，如下所示： City Country Population athens greece 1368 bangkok thailand 1178 barcelona spain 1280 berlin east_germany 3481 birmingham united_kingdom 1112 当我们要查找某个athens在哪个...
使用BPE算法处理未登录词
Young, Simple, Naive
11-25 5474
BPE算法的输入是原始字典，其中每个单词被表示成一串字符，BPE算法迭代的执行k次，每次选择一个出现频率最高的符号对进行合并，生成一个新的符号，注意这种合并是不超过单词边界的。 例如原始词典中有张晨光和张晨磊两个单词，频数均为3，但是没有出现张晨 张晨光:3 张晨磊:3 所以我们在使用最大匹配算法进行分词时，如果使用该字典，就会造成张晨被错误分割为张和晨两个词的情况： max match cut...
Unsupervised Data Augmentation for Consistency Training
Young, Simple, Naive
03-12 4491
有限的标注数据也能带来很好的性能
Softmax求导及多元交叉熵损失梯度推导
Young, Simple, Naive
12-01 4278
假设n为特征个数，K为目标分类个数，则： 对于一个n×1n\times 1n×1输入样本向量 x=(x1,⋯ ,xi,⋯ ,xn)T x=(x_1,\cdots,x_i,\cdots,x_n)^T x=(x1​,⋯,xi​,⋯,xn​)T 一个K×nK\times nK×n的权重矩阵W（每行对应一个类） 以及一个K×1K\times 1K×1...
使用NLTK找出所有的语法解析树
Young, Simple, Naive
11-21 4097
使用NLTK完成Udacity公开课CS271（Intro to Artificial Intelligence）的Final Assessment Question 20 首先我们按照题目要求编写语法规则final_question_20.fcfg % start S S[SEM=(?np + ?vp)] -> NP[SEM=?np] VP[SEM=?vp] S[SEM=(?s1 + a...
an adaptive neural network for unsupervised mosaic consistency analysis in i
最新发布
04-27
针对图像拼接中自动拼接算法的挑战，研究人员提出了一种自适应神经网络，用于无监督图像拼接一致性分析。该算法采用两个步骤进行图像拼接。首先，使用一种自动对齐算法对输入的图像进行对齐。然后，使用适应性神经...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值