bert-flow

最新推荐文章于 2024-04-17 09:33:45 发布
最新推荐文章于 2024-04-17 09:33:45 发布
阅读量339 收藏
点赞数
分类专栏： 数学 NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34146899/article/details/115427291
版权
NLP 同时被 2 个专栏收录
27 篇文章 0 订阅
订阅专栏
数学
26 篇文章 0 订阅
订阅专栏
该博客探讨了BERT模型的基础原理，指出其依赖上下文的共现关系来理解token的意义。同时，文章揭示了BERT模型中编辑距离与相似性的反向关系，以及在高频词和低频词的语义分布问题，表明BERT模型存在低频词远离整体语义向量均值的现象，导致分布不均。
摘要由CSDN通过智能技术生成

bert存在问题:

共现: bert 模型的原理，利用上下文c对token的概率求导，本质是 c与token的共现关系

编辑距离与similarity关系:bert模型编辑距离越大，similarity越小，edit-distance越小，similarity越大，  bert-flow则相反，均匀分布，similarity与编辑距离无关

高频词低频词与均值的分布关系，语义不完整的空间存在:以整体语义向量均值为原点， 高频词接近原点，低频词远离，分布不均，不在同一个空间

 

 

 

龙仔941
关注
专栏目录
当BERT-whitening引入超参数：总有一款适合你
Paper weekly
05-22 525
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 追一科技研究方向 | NLP、神经网络在《你可能不需要 BERT-flow：一个线性变换媲美 BERT-flow》中，笔者提出了 BERT-whitening，验证了一个线性变换就能媲美当时的 SOTA 方法 BERT-flow。此外，BERT-whitening 还可以对句向量进行降维，带来更低的内存占用和更...
无监督语义相似度哪家强？我们做了个比较全面的评测
Paper weekly
04-19 1384
©PaperWeekly 原创 ·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络一月份的时候，笔者写了《你可能不需要 BERT-flow：一个线性变换媲美 BERT-flow》[1...
BERT-flow:预训练语言模型上的句子嵌入的TensorFlow实现（EMNLP 2020）
03-19
从预训练语言模型看句子嵌入 这是以下的TensorFlow实现： On the Sentence Embeddings from Pre-trained Language Models Bohan Li, Hao Zhou, Junxian He, Mingxuan Wang, Yiming Yang, Lei Li EMNLP 2020 模型 斯皮尔曼的罗 BERT-大型-NLI 77.80 BERT-大-NLI-last2avg 78.45 BERT大NLI流（仅目标，仅训练） 80.54 BERT大型NLI流程（目标，训练+开发+测试） 81.18 如有任何疑问，请联系 。 要求 Python> = 3.6 TensorFlow> = 1.14 准备 预训练的BERT模型 export BERT_PREMODELS= " ../bert_premodels " mk
【转载】你可能不需要BERT-flow：一个线性变换媲美BERT-flow
SUFEHeisenberg的博客
01-14 473
转载自科学空间-苏剑林 苏剑林. (Jan. 11, 2021). 《你可能不需要BERT-flow：一个线性变换媲美BERT-flow 》[Blog post]. BERT-flow来自论文《On the Sentence Embeddings from Pre-trained Language Models》，中了EMNLP 2020，主要是用flow模型校正了BERT出来的句向量的分布，从而使得计算出来的cos相似度更为合理一些。由于笔者定时刷Arixv的习惯，早在它放到Arxiv时笔者就看到了它，但
【深度学习】Sentence Embedding-BERT-Flow
Dong_ZH的博客
10-24 397
BERT等语言模型在多数NLP任务中取得优异的表现，但如果直接取BERT输出的句向量作表征，取得的效果甚至还不如Glove词向量。Bert-flow论文中指出，产生该现象的原因是BERT模型的各向异性过高，Transformer模型的输出中，高频词汇分布集中，低频词汇分布分散，整个向量空间类似于锥形结构。
预训练模型语义相似性计算(二)--BERT-flow
choose_c的博客
02-22 1288
SBERT的缺点和留下的疑问： 1.需要监督语料。 微调时间不久，但是对语料质量还是有要求的。 2.为什么bert句向量cosine不能用做相似性计算？ i.没有学到语义相似性信息？ ii.cosine无法刻画相似度？ BERT-flow： 训练到的句向量应该是包含了语义相似性信息。因为训练目标和相似性计算目标是一致的。 所以原因应该是 ii.cosine不能很好刻画相似性。 ...
句向量表示--BERT-FLOW,BERT-whitening, ConSERT, coSENT
weixin_36378508的博客
12-09 1875
一 BERT 句向量 缺点 论文1和论文2证明了 transformer 模型出来的向量表达（如 BERT、GPT2）会产生各向异性，具体表现是向量分布不均匀，低频词分布稀疏距离原点较远，高频词分布紧密，距离原点较近，如图所示。 向量值受句子中词在所有训练语料里的词频影响，导致高频词编码的句向量距离更近，更集中在原点附近，导致即使一个高频词和一个低频词的语义是等价的，但词频的差异也会带来很大的距离偏差，从而词向量的距离就不能很好地代表语义相关性，和人判断句子的语义不受词频影响也不符合。 On t
bert 句向量 的 各向异性问题 及与 对比学习 的联系
lv739880037的博客
01-21 1641
bert ， 句向量， 语义相似， 表示退化， 各向异性， 锥形空间，对比学习，simcse，
基于bert的语义匹配_构建基于BERT的语义搜索系统…针对“星际迷航”
weixin_26752765的博客
09-04 980
基于bert的语义匹配If you read my previous article on Towards Data Science you’ll know I’m a bit of a Star Trek nerd. There’s only one thing I like more than Star Trek, and that’s building cool new stuff with...
从Attention到BERT
weixin_43937205的博客
03-17 456
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
Python-Google官方发布BERT的TensorFlow代码和预训练模型
08-11
Google官方发布BERT的 TensorFlow 代码和预训练模型
Bert-flow模型的理论基础【转】和理解
weixin_46133588的博客
01-13 1528
Bert-flow模型的理论基础和理解1- 理论基础2- flow模型的理解3- Bert-flow模型4- 自己的实验和心得 我只是大佬的搬运工！文本的主要内容是记录下自己学习Bert-flow的流程，从论文的出来，到各大大佬对其的解读，自己的理解还是不到位的，其主要原因是数学没有跟上，于是记录下自己的看过的博客。 1- 理论基础 这部分主要是对数据基础的理解，可以参照以下博客： flow的理论基础 2- flow模型的理解 主要参考苏神的讲解，稍微百度了下，属苏神讲解的详细 细水长flow之NICE：流
BERT-flow｜CMUx字节推出简单易用的文本表示新SOTA！
李rumor
11-25 400
因为工作和个人信仰的关系，我一直比较关注文本表示的进展。召回是很多NLP系统中必备的一步，而向量化的召回比纯基于文字的离散召回效果更好更合理。同时文本表示还可以做很多事情，比如聚类、分类，...
BERT-Flow：深度学习文本理解的利器
最新发布
gitblog_00039的博客
04-17 275
BERT-Flow：深度学习文本理解的利器 BERT-flowTensorFlow implementation of On the Sentence Embeddings from Pre-trained Language Models (EMNLP 2020)项目地址:https://gitcode.com/gh_mirrors/be/BERT-flow 是一个开源项目，由 Bohan Li...
文本匹配之Bert-flow：On the Sentence Embeddings from Pre-trained Language Models
iin729的博客
12-31 3133
目录论文信息内容解析语义相似度和bert预训练语言模型LM（Language modeling）：掩码语言模型MLM（masked language modeling）统计共现来表示语义相似各向异性向量与语义相似性BERT-flow动机Motivation基于标准化流的生成模型Flow-based Generative Model实验语义相似Semantic Textual Similarity无监督实验Unsupervised Training有监督实验Supervised Training无监督QA实验
​你可能不需要BERT-flow：一个线性变换媲美BERT-flow - 科学空间|Scientific Spaces​ - sujianlin
u010483897的博客
05-17 527
转载自：你可能不需要BERT-flow：一个线性变换媲美BERT-flow - 科学空间|Scientific Spaces BERT-flow来自论文《On the Sentence Embeddings from Pre-trained Language Models》，中了EMNLP 2020，主要是用flow模型校正了BERT出来的句向量的分布，从而使得计算出来的cos相似度更为合理一些。由于笔者定时刷Arixv的习惯，早在它放到Arxiv时笔者就看到了它，但并没有什么兴趣，想不到前段时间小火了一
语义相似度和字面相似度的关系BERT-flow
一休
12-19 1065
主要内容是BERT-flow，基于流式生成模型，将BERT的表示可逆地映射到一个均匀的空间 论文题目：On the Sentence Embeddings from Pre-trained Language Models 下载地址：https://arxiv.org/pdf/2011.05864.pdf 论文代码：https://github.com/bohanli/BERT-flow BERT表示句向量，作者统计分析 BERT的词向量在空间中不是均匀分布，而是呈锥形。作者发现高频词都靠近原.
文本表达进击：从BERT-flow到BERT-whitening、SimCSE
Paper weekly
11-10 1520
©作者 | 舒鑫印学校 | 东华大学研究方向 | NLP文本表达BERT 预训练模型问世以来，改变了很多 NLP 任务的习惯。很多 NLP 任务都会直接在 BERT 的基础上做一个 fin...
无监督文本相识度
爱吃火锅的博客
11-04 3759
我们在进行一些nlp任务时，一般需要得到句子的vec编码，一般会试一试bert系列，但是这是有前提的，要fintune! 要fintune！ 如果想直接“拿来主义”，直接加载公布的pretrain模型来获得vec编码，可能并达不到我们的预期。 这里做了两个实验 一个使用bert的实验结果，这是网上大多数的例子，可以看到“啦啦啦啦啦啦”和“天空为什么是蓝色的”相似度（余弦相似度）依然很高 一个是百度ernie的实验结果，这里极端了一点，可以看到标点和文本依然具有很高的相识度。 所以 （1）
SimCSE在中文语义相似度实验：对比学习新秀，超越BERT-whitening
Simple Contrastive Learning of Sentence Embeddings》提出的一种新方法，它在英文语料上已经展示了超越BERT-whitening和BERT-flow的性能。BERT-whitening曾是语义相似度的新SOTA，但随着SimCSE的出现，这一情况...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值