tBERT: Topic Models and BERT Joining Forces论文学习

最新推荐文章于 2023-10-16 10:00:00 发布
最新推荐文章于 2023-10-16 10:00:00 发布
阅读量624 收藏 1
点赞数
分类专栏： nlp_paper nlp学习 nlp 文章标签： tbert 文本匹配
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16949707/article/details/118418711
版权
nlp 同时被 3 个专栏收录
97 篇文章 3 订阅
订阅专栏
nlp_paper
75 篇文章 7 订阅
订阅专栏
nlp学习
61 篇文章 2 订阅
订阅专栏

一、概览

在这里插入图片描述

二、论文解读

abstract

如何结合topic和预训练模型？
提出了新的架构来做pairwise的语义相似度检测
发现topics极大地帮助解决领域知识的问题

1.introduction

预训练模型建立了新的一个王国
paraphrase的检测提升比较大，semantic similarity detection还是个挑战，例如社区问答项目，需要衡量question-answer对之间的关系，因为高度领域相关，所以还是比较有挑战。
topic models提供了额外领域相关的语义的信息来做语义相似度计算

2. 数据集
3.tBERT
  • 3.1 结构
    bert cls特征+主题模型特征
    主体模型实验：
    LDA + GSDMM
    结合字和文档级别的主体
    每个tokens都放到topic model里面去

就两个句子的每个token都过一下topic model，然后取平均值。
在这里插入图片描述

  • 3.2 主体模型选择
    主题个数:70-90
    alpha值：1或者10
    LDA：
    不适合短文本
    GSDMM：
    基于word和基于documnet都试了
    指标是f1
    在这里插入图片描述

  • 3.3 不同baseline比较
    在这里插入图片描述

感觉没提升多少啊，semeval数据集提升多一点
收敛的更快

在这里插入图片描述

ps：领域知识在机器翻译，命名实体识别提升也比较大。
就这也可以acl吗?看起来好简单啊

english

The task is to predict whether two questions are paraphrases.->任务是预测两个问题是否是转述。
Jensen- Shannon divergence -> 詹森-香农散度

HxShine
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【主题建模】一种基于深度学习的主题建模方法：BERTopic（实战篇）
书山有路，学海无涯。记录成长，追逐梦想
02-10 1万+
BERTopic 是基于深度学习的一种主题建模方法。2018 年底，Devlin et al. 提出了 Bidirectional Encoder Representations from Transformers (BERT)。BERT 是一种用于 NLP 的预训练策略，它成功地利用了句子的深层语义信息。
BERT如何融合主题模型做文本匹配-ACL2020
yaohaishen的专栏
01-19 981
今天分享一个论文ACL2020-tBERT[1]，论文主要融合主题模型和BERT去做语义相似度判定，在特定领域使用这个模型，效果更明显。 掌握以下几点： 【CLS】向量拼接两个句子各自的主题模型，效果有提升 尤其是在特定领域的数据集合会有更好的表现。 第二点这个特定领域发现还挺有意思的，感兴趣的可以在自己数据集做个试验扩展。 1. 架构图 先看架构图： tbert架构图 模型架构比较简单，BERT这边使用的【CLS】输出向量： 主题模型使用两种，LDA和GSDMM，主要是
tBERT:ACL 2020论文'tBERT的代码
05-14
tBERT 该存储库提供了论文“ tBERT：用于语义相似性检测的主题模型和BERT联合力”（ ）的代码。 设置 下载预训练的BERT 在主目录中创建缓存文件夹： cd ~ mkdir tf-hub-cache cd tf-hub-cache 下载预训练的BERT模型并解压缩： wget https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip unzip uncased_L-12_H-768_A-12.zip 下载预处理数据 转到tBERT存储库： cd /path/to/tBERT/ 从保管箱下载主题模型和原始数据集： wget "https://www.dropbox.com/s/6p26mkwv62677zt/original_data.tar.gz" 解压
19_训练 & 部署 TFModels at Scale_walk目录_TensorFlow Serving_requests_REST_gRPC_Docker_gcp客户端库_gpu
Linli522362242的专栏
08-12 1685
Once you have a beautiful model that makes amazing predictions, what do you do with it? Well, you need to put it in production! This could be as simple as running the model on a batch of data and perhaps writing a script that runs this model every nig...
深度学习：BERT模型
热门推荐
皮皮blog
12-18 4万+
BERT出自的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder。作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。
java acl 模型图_ACL2020论文整理
weixin_27885845的博客
02-16 162
ACL2020录取文章已经放出，链接如下：ACL2020论文集合​www.aclweb.org为了以后更加方便地阅读论文，也本着一颗开源之心，花一个下午的时间整理了一下相关论文。鉴于本人精力有限，并且也只在NLP领域做过部分任务，因此只整理了以下四种任务的论文：(1)预训练语言模型及部分应用(18篇)；(2)QA问答系统及机器阅读理解(13篇)；(3)问题生成(7篇)；(4)自然语言推理(文本蕴含...
【招聘】阿里2022届春招实习生 - 机器学习/NLP/CV等
zenRRan的博客
03-02 310
点击上方，选择星标，每天给你送干货！说个正事哈由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：...
tBERT: Topic Models and BERT Joining Forces for Semantic Similarity Detection
zhang_han666的博客
10-14 2279
tBERT: Topic Models and BERT Joining Forces for Semantic Similarity Detection     文章发表在ACL2020。下面简单记录一下这篇文章的主要内容。 模型结构 如图1所示： 首先，用基础的BERT对两个句子S1S_{1}S1​，S2S_{2}S2​进行编码。BERT最后一层的输出作为句子对的表示，用向量CCC来表示： 根据主题模型得到两个句子的文档主题D1D_{1}D1​和D2D_{2}D2​： 其中，N
tBERT-BERT融合主题模型
最新发布
DeepLearning_的博客
10-16 619
【CLS】向量拼接两个句子各自的主题模型，效果有提升尤其是在特定领域的数据集合会有更好的表现。说一下我自己的思考，关于特定领域这块。一般来说，微调是可以解决这个问题的。不过看作者的实验，即使是微调之后的BERT，在特定领域这块，效果也没有tBERT好，说明主题模型在这块还是很有用的。进一步思考，可不可以这么推论，如果说我们的任务输入越是特定领域，那么假如tBERT越有明显的提升呢？这个感兴趣的大家可以去试一试，比如医疗领域，比如金融领域之类的。
tBERT部分代码（自学用）
weixin_42249400的博客
04-17 692
tBERT部分代码 （自学用） tbert.py from src.loaders.load_data import load_data from src.models.base_model_bert import model,test_opt import argparse # run tbert with different learning rates on a certain dataset # example usage: python src/experiments/tbert.py -lea
TopicBERT-PyTorch:Chaudhary等人的PyTorch实现。 al。 2020年的TopicBERT
04-12
TopicBERT-PyTorch PyTorch实现 入门： 如果尚未安装 ，请安装它。 然后跑 conda env create -f environment.yml 这将创建一个严格遵守指示的版本控制的Python环境。 它旨在紧密地反映Google Colab。 或者，在Google Colab中打开experiment.ipynb ： 路线图 在某些数据集上具有有效的BERT（SST-2） 于4/4/21完成，利亚姆 设置Reuters8数据集和DataLoader 正在进行中，有关Liam 4/8/21的一些工作 利亚姆（Liam）于4/9/21完成数据集和数据加载程序 BERT在Reuters8上进行独立预测完成–在Google Colab，4/10/21，Liam上达到99.3％的火车，97.2％的val精度 在某些数据集上设置NVDM主题模型 NVD
BERTopic：利用BERT和c-TF-IDF创建易于解释的主题
02-03
伯特比 BERTopic是一种利用主题建模技术 :hugging_face: 转换程序和c-TF-IDF创建密集的群集，使主题易于理解，同时在主题描述中保留重要字词。 它甚至支持类似于LDAvis的可视化！ 相应的媒体帖子可以在找到。 安装 可以使用完成安装： pip install bertopic 要使用可视化选项，请按照以下步骤安装BERTopic： pip install bertopic[visualization] 安装错误推荐使用PyTorch 1.4.0或更高版本。 如果安装出现错误，请首先安装pytorch。 入门 要详细了解BERTopic的功能，您可以在查看完整的文档也可以Google Colab笔记本。 快速开始 我们首先从著名的20个新闻组数据集中提取主题，该数据组由英文文档组成： from bertopic import BERTopic from sklearn . datasets import fetch_20newsgroups docs = fetch_20newsgroups ( subset = 'all' , remove
NLP：语言表示模型BERT
04-21
BERT- Pre-training of Deep Bidirectional Transformers for Language Understanding 我们介绍了一种新的语言表示模型BERT，它表示转换器的双向编码器表示。与最近的语言表示模型不同(Peters et al., 2018; Radford...
scibert：科学文本的BERT模型
02-03
SciBERT是经过科学文字训练的BERT模型。 SciBERT受过SciBERT ）的论文训练。 语料库大小为114万张论文，3.1B令牌。 我们在培训中使用论文的全文，而不仅仅是摘要。 SciBERT拥有自己的词汇表（ scivocab ），该...
在线检测传播的宣传偏差：比较HAN和BERT模型-研究论文
05-20
-我们试图通过使用Propaganda Analysis Project [6]开发的Proppy语料库来比较自然语言处理（NLP）模型，BERT和HAN的分类预测。 我们的目标是查看哪种模型可以根据语料库中标记的数据更准确地预测宣传偏见。 我们对...
BERT-pytorch：Google AI 2018 BERT pytorch实施
02-03
伯特·比托奇 Google AI的2018 BERT的Pytorch实现，带有简单注释BERT 2018 BERT：用于语言理解的深度双向变压器的预培训论文URL： : 介绍Google AI的BERT论文显示了在各种NLP任务（新的17个NLP任务SOTA）上的惊人...
序列标注ner原理，CRF作用以及transformers ner使用
hxshine的博客
04-25 6607
1.参考 Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型） https://github.com/ymcui/Chinese-BERT-wwm Transformers: State-of-the-art Natural Language Processing for TensorFlow 2.0 and P...
CRF条件随机场loss函数与维特比算法理解
hxshine的博客
08-05 6418
1. 参考资料 详解条件随机场(CRF)-batch版本:https://zhuanlan.zhihu.com/p/38119194 简明条件随机场CRF介绍 | 附带纯Keras实现:https://www.jiqizhixin.com/articles/2018-05-23-3 序列标注算法(二):http://fancyerii.github.io/books/sequential_labeling2/ CRF(条件随机场)与Viterbi(维特比)算法原理详解:https://blog.csdn.n
SimCSE学习
hxshine的博客
06-21 5315
0. 参考 中文任务还是SOTA吗？我们给SimCSE补充了一些实验：https://kexue.fm/archives/8348 simcse在英文数据上显著超过了bert-flow和bert-whitening SimCSE—简单有效的对比学习：https://zhuanlan.zhihu.com/p/375659368 1. 概述 2. 什么是SimCse 2.1 无监督的训练方法 一个句子，encoder得到embedding，通过dropout得到的embedding作为正例，其他的句子得到
Introduce the differences between GPT and BERT models
05-09
GPT (Generative Pre-trained Transformer) and BERT (Bidirectional Encoder Representations from Transformers) are both advanced natural language processing (NLP) models developed by OpenAI and Google respectively. Although they share some similarities, there are key differences between the two models. 1. Pre-training Objective: GPT is pre-trained using a language modeling objective, where the model is trained to predict the next word in a sequence of words. BERT, on the other hand, is trained using a masked language modeling objective. In this approach, some words in the input sequence are masked, and the model is trained to predict these masked words based on the surrounding context. 2. Transformer Architecture: Both GPT and BERT use the transformer architecture, which is a neural network architecture that is specifically designed for processing sequential data like text. However, GPT uses a unidirectional transformer, which means that it processes the input sequence in a forward direction only. BERT, on the other hand, uses a bidirectional transformer, which allows it to process the input sequence in both forward and backward directions. 3. Fine-tuning: Both models can be fine-tuned on specific NLP tasks, such as text classification, question answering, and text generation. However, GPT is better suited for text generation tasks, while BERT is better suited for tasks that require a deep understanding of the context, such as question answering. 4. Training Data: GPT is trained on a massive corpus of text data, such as web pages, books, and news articles. BERT is trained on a similar corpus of text data, but it also includes labeled data from specific NLP tasks, such as the Stanford Question Answering Dataset (SQuAD). In summary, GPT and BERT are both powerful NLP models, but they have different strengths and weaknesses depending on the task at hand. GPT is better suited for generating coherent and fluent text, while BERT is better suited for tasks that require a deep understanding of the context.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值