Bert-flow模型的理论基础【转】和理解

最新推荐文章于 2024-02-28 14:50:36 发布
最新推荐文章于 2024-02-28 14:50:36 发布
阅读量1.4k 收藏 4
点赞数 2
分类专栏： NLP 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46133588/article/details/112568115
版权

Bert-flow模型的理论基础和理解

我只是大佬的搬运工！文本的主要内容是记录下自己学习Bert-flow的流程，从论文的出来，到各大大佬对其的解读，自己的理解还是不到位的，其主要原因是数学没有跟上，于是记录下自己的看过的博客。

1- 理论基础

这部分主要是对数据基础的理解，可以参照以下博客：
flow的理论基础

2- flow模型的理解

主要参考苏神的讲解，稍微百度了下，属苏神讲解的详细
细水长flow之NICE：流模型的基本概念与实现
细水长flow之RealNVP与Glow：流模型的传承与升华
并且被苏神，评上了NICE，实属不易哈。

3- Bert-flow模型

首先直接附上论文地址：https://arxiv.org/abs/2011.05864
Github的地址：https://github.com/bohanli/BERT-flow
然后是苏神的解读和变体
https://kexue.fm/archives/8069

4- 自己的实验和心得

待更

GF心流
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
流模型(Flow-based Model)
禅与计算机程序设计艺术
07-12 1010
流模型(Flow-based Model) Flow-based Generative Models. 本文目录： 流模型的结构 流模型的优化目标 流模型的各种变体 使用
句向量表示--BERT-FLOW,BERT-whitening, ConSERT, coSENT
weixin_36378508的博客
12-09 1806
一 BERT 句向量 缺点 论文1和论文2证明了 transformer 模型出来的向量表达（如 BERT、GPT2）会产生各向异性，具体表现是向量分布不均匀，低频词分布稀疏距离原点较远，高频词分布紧密，距离原点较近，如图所示。 向量值受句子中词在所有训练语料里的词频影响，导致高频词编码的句向量距离更近，更集中在原点附近，导致即使一个高频词和一个低频词的语义是等价的，但词频的差异也会带来很大的距离偏差，从而词向量的距离就不能很好地代表语义相关性，和人判断句子的语义不受词频影响也不符合。 On t
BERT-flow:预训练语言模型上的句子嵌入的TensorFlow实现（EMNLP 2020）
03-19
从预训练语言模型看句子嵌入 这是以下的TensorFlow实现： On the Sentence Embeddings from Pre-trained Language Models Bohan Li, Hao Zhou, Junxian He, Mingxuan Wang, Yiming Yang, Lei Li EMNLP 2020 模型 斯皮尔曼的罗 BERT-大型-NLI 77.80 BERT-大-NLI-last2avg 78.45 BERT大NLI流（仅目标，仅训练） 80.54 BERT大型NLI流程（目标，训练+开发+测试） 81.18 如有任何疑问，请联系 。 要求 Python> = 3.6 TensorFlow> = 1.14 准备 预训练的BERT模型 export BERT_PREMODELS= " ../bert_premodels " mk
预训练模型语义相似性计算(二)--BERT-flow
choose_c的博客
02-22 1262
SBERT的缺点和留下的疑问： 1.需要监督语料。 微调时间不久，但是对语料质量还是有要求的。 2.为什么bert句向量cosine不能用做相似性计算？ i.没有学到语义相似性信息？ ii.cosine无法刻画相似度？ BERT-flow： 训练到的句向量应该是包含了语义相似性信息。因为训练目标和相似性计算目标是一致的。 所以原因应该是 ii.cosine不能很好刻画相似性。 ...
Flow模型
m0_64617114的博客
11-29 5221
一、简述 Flow模型是生成模型，目标是找到输入样本的分布。Flow模型选择直接直面生成模型的概率计算。 流模型有一个非常与众不同的特点是，它的转换通常是可逆的。也就是说，流模型不仅能找到从A分布变化到B分布的网络通路，并且该通路也能让B变化到A，简言之流模型找到的是一条A、B分布间的双工通路。当然，这样的可逆性是具有代价的——A、B的数据维度必须是一致的。 A、B分布间的转换并不是轻易能做到的，流模型为实现这一点经历了三个步骤：最初的NICE实现了从...
【FLOW学习笔记】流模型（Flow-based Model）详解
热门推荐
a312863063的博客
06-30 2万+
完整笔记：http://www.gwylab.com/note-flow_based_model.html 李宏毅老师的视频教程：/www.bilibili.com/video/av46561029/?p=59 —————————————————————————————————— 前言 · Flow-based模型的不同之处 从去年GLOW提出之后，我就一直对基于流（fl...
自然语言处理-bert-base-chinese模型
最新发布
06-01
bert-base-chinese 是 BERT 模型的一种变体，它在中文语料库上进行预训练，以便更好地理解和处理中文文本。适用于自然语言处理工程师、数据科学家、机器学习研究者以及对中文文本处理感兴趣的开发者。bert-base-...
bert-base-uncased 预训练模型
01-12
来自 https://huggingface.co/bert-base-uncased/tree/main
基于python的中文BERT-wwm系列模型
03-21
基于python的中文BERT-wwm系列模型
bert-base-chinese.zip
12-03
而BERT-base-Chinese作为中文NLP的基石，将继续在新模型的开发和现有模型的改进中发挥重要作用。 总结来说，BERT-base-Chinese是中文自然语言处理领域的一个重要里程碑，它为中文文本的理解和各种任务的执行提供了...
Python-Google官方发布BERT的TensorFlow代码和预训练模型
08-11
Google官方发布BERT的 TensorFlow 代码和预训练模型
流模型（flow）--《NICE: Non-linear Independent Components Estimation》
zephyr_wang的博客
08-28 2266
本文根据2015年《NICE: Non-linear Independent Components Estimation》翻译总结的。流模型的最初论文。流模型（flow）也是一种生成模型。
【原版】流模型 Flow 超详解，基于 Flow 的生成式模型，从思路到基础到公式推导到模型理解与应用（Flow-based Generative Model）
m0_56942491的博客
02-28 1747
既然得到了 π of z 和 p of x 之间的关系，我们再回到刚刚的目标函数上，因此我们就可以对目标函数进行变换：由：以及之前推导出的核心公式，可得：进行变量替换再取 log，得：由此便得到了我们最终需要最大化的式子，也就是目标函数。可以计算 det(J_G)：我们知道了生成器 G，理论上知道了 z 怎么变成 x 就很容易计算其雅可比矩阵的行列式。
文本表达进击：从BERT-flow到BERT-whitening、SimCSE
Paper weekly
11-10 1388
©作者 | 舒鑫印学校 | 东华大学研究方向 | NLP文本表达BERT 预训练模型问世以来，改变了很多 NLP 任务的习惯。很多 NLP 任务都会直接在 BERT 的基础上做一个 fin...
【深度学习】Sentence Embedding-BERT-Flow
Dong_ZH的博客
10-24 353
BERT等语言模型在多数NLP任务中取得优异的表现，但如果直接取BERT输出的句向量作表征，取得的效果甚至还不如Glove词向量。Bert-flow论文中指出，产生该现象的原因是BERT模型的各向异性过高，Transformer模型的输出中，高频词汇分布集中，低频词汇分布分散，整个向量空间类似于锥形结构。
文本匹配之Bert-flow：On the Sentence Embeddings from Pre-trained Language Models
iin729的博客
12-31 3092
目录论文信息内容解析语义相似度和bert预训练语言模型LM（Language modeling）：掩码语言模型MLM（masked language modeling）统计共现来表示语义相似各向异性向量与语义相似性BERT-flow动机Motivation基于标准化流的生成模型Flow-based Generative Model实验语义相似Semantic Textual Similarity无监督实验Unsupervised Training有监督实验Supervised Training无监督QA实验
bert-flow
一介北漂
04-04 330
bert存在问题: 共现: bert 模型的原理，利用上下文c对token的概率求导，本质是 c与token的共现关系 编辑距离与similarity关系:bert模型编辑距离越大，similarity越小，edit-distance越小，similarity越大， bert-flow则相反，均匀分布，similarity与编辑距离无关 高频词低频词与均值的分布关系，语义不完整的空间存在:以整体语义向量均值为原点， 高频词接近原点，低频词远离，分布不均，不在同一个空间 ...
【转载】你可能不需要BERT-flow：一个线性变换媲美BERT-flow
SUFEHeisenberg的博客
01-14 441
转载自科学空间-苏剑林 苏剑林. (Jan. 11, 2021). 《你可能不需要BERT-flow：一个线性变换媲美BERT-flow 》[Blog post]. BERT-flow来自论文《On the Sentence Embeddings from Pre-trained Language Models》，中了EMNLP 2020，主要是用flow模型校正了BERT出来的句向量的分布，从而使得计算出来的cos相似度更为合理一些。由于笔者定时刷Arixv的习惯，早在它放到Arxiv时笔者就看到了它，但
bert-squad模型下载
03-04
BERT-SQuAD是一种基于BERT模型问答模型用于阅读理解任务。它在SQuAD（Stanford Question Answering Dataset）数据集上进行训练，可以根据给定的问题和文章段落，预测出最可能的答案。 要下载BERT-SQuAD模型，可以按照以下步骤进行： 1. 首先，你需要下载BERT模型的预训练权重。BERT模型的预训练权重可以在Google的官方GitHub仓库中找到。你可以通过访问以下链接来下载：https://github.com/google-research/bert 2. 在该仓库中，你可以找到多个预训练的BERT模型，包括不同大小和配置的模型。选择适合你需求的模型，并下载对应的权重文件。 3. 一旦你下载了BERT模型的预训练权重，你可以使用Python的TensorFlow或PyTorch库加载这些权重，并在自己的代码中使用它们。 4. 对于BERT-SQuAD模型，你可以在Hugging Face的Transformers库中找到预训练的版本。Transformers库提供了方便的接口来加载和使用BERT-SQuAD模型。你可以通过以下链接访问Transformers库：https://github.com/huggingface/transformers 5. 在Transformers库中，你可以找到BERT-SQuAD模型的相关文档和示例代码，以帮助你使用该模型进行问答任务。 希望以上信息对你有帮助！如果你有任何进一步的问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值