tBERT: Topic Models and BERT Joining Forces论文学习

最新推荐文章于 2024-06-16 09:34:14 发布
最新推荐文章于 2024-06-16 09:34:14 发布
阅读量642 收藏 1
点赞数
分类专栏： nlp_paper nlp学习 nlp 文章标签： tbert 文本匹配
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16949707/article/details/118418711
版权
nlp 同时被 3 个专栏收录
97 篇文章 3 订阅
订阅专栏
nlp_paper
75 篇文章 7 订阅
订阅专栏
nlp学习
61 篇文章 2 订阅
订阅专栏

一、概览

在这里插入图片描述

二、论文解读

abstract

如何结合topic和预训练模型？
提出了新的架构来做pairwise的语义相似度检测
发现topics极大地帮助解决领域知识的问题

1.introduction

预训练模型建立了新的一个王国
paraphrase的检测提升比较大，semantic similarity detection还是个挑战，例如社区问答项目，需要衡量question-answer对之间的关系，因为高度领域相关，所以还是比较有挑战。
topic models提供了额外领域相关的语义的信息来做语义相似度计算

2. 数据集
3.tBERT
  • 3.1 结构
    bert cls特征+主题模型特征
    主体模型实验：
    LDA + GSDMM
    结合字和文档级别的主体
    每个tokens都放到topic model里面去

就两个句子的每个token都过一下topic model，然后取平均值。
在这里插入图片描述

  • 3.2 主体模型选择
    主题个数:70-90
    alpha值：1或者10
    LDA：
    不适合短文本
    GSDMM：
    基于word和基于documnet都试了
    指标是f1
    在这里插入图片描述

  • 3.3 不同baseline比较
    在这里插入图片描述

感觉没提升多少啊，semeval数据集提升多一点
收敛的更快

在这里插入图片描述

ps：领域知识在机器翻译，命名实体识别提升也比较大。
就这也可以acl吗?看起来好简单啊

english

The task is to predict whether two questions are paraphrases.->任务是预测两个问题是否是转述。
Jensen- Shannon divergence -> 詹森-香农散度

HxShine
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【主题建模】一种基于深度学习的主题建模方法：BERTopic（实战篇）
书山有路，学海无涯。记录成长，追逐梦想
02-10 1万+
BERTopic 是基于深度学习的一种主题建模方法。2018 年底，Devlin et al. 提出了 Bidirectional Encoder Representations from Transformers (BERT)。BERT 是一种用于 NLP 的预训练策略，它成功地利用了句子的深层语义信息。
tBERT: Topic Models and BERT Joining Forces for Semantic Similarity Detection
zhang_han666的博客
10-14 2320
tBERT: Topic Models and BERT Joining Forces for Semantic Similarity Detection     文章发表在ACL2020。下面简单记录一下这篇文章的主要内容。 模型结构 如图1所示： 首先，用基础的BERT对两个句子S1S_{1}S1​，S2S_{2}S2​进行编码。BERT最后一层的输出作为句子对的表示，用向量CCC来表示： 根据主题模型得到两个句子的文档主题D1D_{1}D1​和D2D_{2}D2​： 其中，N
**探索语义相似性新维度：tBERT——融合主题模型与BERT的力量**
最新发布
gitblog_00030的博客
06-16 498
探索语义相似性新维度：tBERT——融合主题模型与BERT的力量 项目地址:https://gitcode.com/wuningxi/tBERT 在自然语言处理（NLP）领域，理解和量化文本之间的相似度是一项核心挑战。近年来，预训练模型如BERT的出现极大地推动了这一领域的进展，但它们往往忽视了一个关键因素——主题上下文。今天，我们要向大家推荐一款开源项目：tBERT，它巧妙地结合了主题建模和BE...
Topic Model 相关论文
Vivian Liu的专栏
07-02 2159
ICML 2014 1 、Jian Tang, ZhaoshiMeng, XuanLongNguyen, Qiaozhu Mei, MingZhang: Understanding the LimitingFactors of Topic Modeling via Posterior Contraction Analysis. ICML2014:190-198   2、MaximRab
【招聘】阿里2022届春招实习生 - 机器学习/NLP/CV等
zenRRan的博客
03-02 329
点击上方，选择星标，每天给你送干货！说个正事哈由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：...
Topic Model
11-19 8632
基于LDA的Topic Model变形最近几年来，随着LDA的产生和发展，涌现出了一批搞Topic Model的牛人。我主要关注了下面这位大牛和他的学生：<br />David M. BleiLDA的创始者，04年博士毕业。一篇关于Topic Model的博士论文充分体现其精深的数学概率功底；而其自己实现的LDA又可体现其不俗的编程能力。说人无用，有论文为证：<br />J. Chang and D. Blei. Relational Topic Models for Document Networks.
【论文阅读】A Correlated Topic Model Using Word Embeddings
要加油
12-20 1658
本文提出了一个新的使用词嵌入的主题模型。该模型能够利用词嵌入中包含的字级别的关联信息，并在连续的字嵌入空间中对主题相关性进行建模。
tBERT:ACL 2020论文'tBERT的代码
05-14
该存储库提供了论文“ tBERT：用于语义相似性检测的主题模型和BERT联合力”（ ）的代码。 设置 下载预训练的BERT 在主目录中创建缓存文件夹： cd ~ mkdir tf-hub-cache cd tf-hub-cache 下载预训练的BERT模型并...
NLP：语言表示模型BERT
04-21
BERT（Bidirectional Encoder Representations from Transformers）是一种由Google AI Language团队开发的语言表示模型，用于提升自然语言处理（NLP）任务的性能。该模型的核心创新在于其预训练过程，它利用无标注...
scibert：科学文本的BERT模型
02-03
SciBERT是经过科学文字训练的BERT模型。 SciBERT受过SciBERT ）的论文训练。 语料库大小为114万张论文，3.1B令牌。 我们在培训中使用论文的全文，而不仅仅是摘要。 SciBERT拥有自己的词汇表（ scivocab ），该...
毕业设计：Python （bert）深度学习文本相似度检测系统设计（源码 + 数据库）
06-11
标题中的“毕业设计：Python (BERT) 深度学习文本相似度检测系统设计”是一个基于Python编程语言，利用BERT模型进行深度学习的项目，旨在实现文本相似度检测功能。BERT，全称为Bidirectional Encoder ...
TopicBERT-PyTorch:Chaudhary等人的PyTorch实现。 al。 2020年的TopicBERT
04-12
TopicBERT-PyTorch PyTorch实现 入门： 如果尚未安装 ，请安装它。 然后跑 conda env create -f environment.yml 这将创建一个严格遵守指示的版本控制的Python环境。 它旨在紧密地反映Google Colab。 或者，在Google Colab中打开experiment.ipynb ： 路线图 在某些数据集上具有有效的BERT（SST-2） 于4/4/21完成，利亚姆 设置Reuters8数据集和DataLoader 正在进行中，有关Liam 4/8/21的一些工作 利亚姆（Liam）于4/9/21完成数据集和数据加载程序 BERT在Reuters8上进行独立预测完成–在Google Colab，4/10/21，Liam上达到99.3％的火车，97.2％的val精度 在某些数据集上设置NVDM主题模型 NVD
BERTopic：利用BERT和c-TF-IDF创建易于解释的主题
02-03
伯特比 BERTopic是一种利用主题建模技术 :hugging_face: 转换程序和c-TF-IDF创建密集的群集，使主题易于理解，同时在主题描述中保留重要字词。 它甚至支持类似于LDAvis的可视化！ 相应的媒体帖子可以在找到。 安装 可以使用完成安装： pip install bertopic 要使用可视化选项，请按照以下步骤安装BERTopic： pip install bertopic[visualization] 安装错误推荐使用PyTorch 1.4.0或更高版本。 如果安装出现错误，请首先安装pytorch。 入门 要详细了解BERTopic的功能，您可以在查看完整的文档也可以Google Colab笔记本。 快速开始 我们首先从著名的20个新闻组数据集中提取主题，该数据组由英文文档组成： from bertopic import BERTopic from sklearn . datasets import fetch_20newsgroups docs = fetch_20newsgroups ( subset = 'all' , remove
在线检测传播的宣传偏差：比较HAN和BERT模型-研究论文
05-20
-我们试图通过使用Propaganda Analysis Project [6]开发的Proppy语料库来比较自然语言处理（NLP）模型，BERT和HAN的分类预测。 我们的目标是查看哪种模型可以根据语料库中标记的数据更准确地预测宣传偏见。 我们对...
BERT如何融合主题模型做文本匹配-ACL2020
yaohaishen的专栏
01-19 1042
今天分享一个论文ACL2020-tBERT[1]，论文主要融合主题模型和BERT去做语义相似度判定，在特定领域使用这个模型，效果更明显。 掌握以下几点： 【CLS】向量拼接两个句子各自的主题模型，效果有提升 尤其是在特定领域的数据集合会有更好的表现。 第二点这个特定领域发现还挺有意思的，感兴趣的可以在自己数据集做个试验扩展。 1. 架构图 先看架构图： tbert架构图 模型架构比较简单，BERT这边使用的【CLS】输出向量： 主题模型使用两种，LDA和GSDMM，主要是
tBERT部分代码（自学用）
weixin_42249400的博客
04-17 707
tBERT部分代码 （自学用） tbert.py from src.loaders.load_data import load_data from src.models.base_model_bert import model,test_opt import argparse # run tbert with different learning rates on a certain dataset # example usage: python src/experiments/tbert.py -lea
tBERT-BERT融合主题模型
DeepLearning_的博客
10-16 645
【CLS】向量拼接两个句子各自的主题模型，效果有提升尤其是在特定领域的数据集合会有更好的表现。说一下我自己的思考，关于特定领域这块。一般来说，微调是可以解决这个问题的。不过看作者的实验，即使是微调之后的BERT，在特定领域这块，效果也没有tBERT好，说明主题模型在这块还是很有用的。进一步思考，可不可以这么推论，如果说我们的任务输入越是特定领域，那么假如tBERT越有明显的提升呢？这个感兴趣的大家可以去试一试，比如医疗领域，比如金融领域之类的。
BERT Topic推荐-AMiner
AI_Conf的博客
11-26 839
AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 必读论文：https://www.aminer.cn/topic BERT全称是Bidire.
NLP实战之BERTopic主题分析
热门推荐
m0_65609016的博客
10-21 1万+
BERTopic是一种结合了预训练模型BERT和主题建模的强大工具。它允许我们将大规模文本数据集中的文档映射到主题空间，并自动识别潜在的主题。它背后的核心思想是通过BERT模型来捕获文档的语义信息，并然后使用主题建模技术来对这些语义信息进行聚类，从而得出主题。对于大部分小伙伴而言，知道如何去使用BERTopic模型进行主题分析就足够了。所以BERTopic原理就不做过多解释了，感兴趣的小伙伴可以自己去了解一下。BERTopic是一种强大的主题分析工具，它能够自动识别文本数据中的主题，而无需预先定义主题数。
深度学习三大巨头：Transformer, BERT与GPT解析
"Transformer, BERT, and GPT——深度学习中的重要模型" 本书深入探讨了Transformer、BERT和GPT这三个在深度学习领域至关重要的模型。Transformer是2017年Google提出的革命性序列建模架构，彻底改变了自然语言处理...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值