- 博客(8)
- 资源 (9)
- 收藏
- 关注
RSS订阅转载 基于BERT的超长文本分类模型
基于BERT的超长文本分类模型0.Abstract 1.任务介绍 数据集 评估方法 测试集 2.数据初步处理 3.Baseline模型 4. 数据进一步处理 分割文本 4.最终模型 第一部分: BERT 第二部分: LSTM + FC 最终效果和一些小节 5. 进一步拓展: BERT + Transformer0.Abstract本文实.
2020-10-29 16:38:53
7495
5
原创 sentencepiece原理与实践
1 前言前段时间在看到XLNET，Transformer-XL等预训练模式时，看到源代码都用到sentencepiece模型，当时不清楚。经过这段时间实践和应用，觉得这个方法和工具值得NLP领域推广和应用。今天就分享下sentencepiece原理以及实践效果。2 原理sentencepiece由谷歌将一些词-语言模型相关的论文进行复现，开发了一个开源工具——训练自己领域的sentencepiece模型，该模型可以代替预训练模型(BERT,XLNET)中词表的作用。开源代码地址为：https:/
2020-10-28 10:05:43
5823
2
转载 关于batch normalization和layer normalization的理解
目录一、batch normalization和layer normalization的动机二、BN和LN的框架原理2.1BN和LN的具体操作原理2.2BN和LN的优点和不足2.3BN和LN的不同2.4BN和LN的实例代码展示三、Bert、Transformer中为何使用的是LN而很少使用BN3.1第一个解释3.2第二个解释 在深度学习中经常看到batch normalization的使用，在Bert模型里面经常看到layer normalization...
2020-10-28 09:43:04
10919
2
转载 Facebook 号称击败谷歌，推出最强聊天机器人
By 超神经场景描述：Facebook 近日开源了新的聊天机器人 Blender，表现优于现有对话机器人，更具个性化。关键词：Facebook 聊天机器人 Blender4 月 29 日，Facebook AI 和机器学习部门 FAIR 发布博客宣布，经过多年研究，他们已近构建并开源了一个新的聊天机器人 Blender。Blender 结合了多种对话技能，包括个性、知识和同理心，能够使 AI 更具人性化。击败谷歌 Meena，更像人类FAIR 声称Blender 是 Git...
2020-10-27 09:57:26
337
转载 端到端问答新突破：百度提出RocketQA，登顶MSMARCO榜首
开放域问答（Open-domain QA）一直是自然语言处理领域的重要研究课题。百度从面向端到端问答的检索模型出发，提出了RocketQA训练方法，大幅提升了对偶式检索模型的效果，为实现端到端问答迈出了重要的一步。RocketQA已逐步应用在百度搜索、广告等核心业务中，并将在更多场景中发挥作用。近日，百度提出了面向端到端问答的检索模型训练方法 RocketQA，该方法针对模型训练中存在的问题，通过跨批次负采样（cross-batch negatives）、去噪的强负例采样（denoised hard n
2020-10-23 14:51:08
190
转载 百度发布首个大规模隐变量对话模型PLATO
百度于去年10月公布的基于飞桨开源深度学习平台开发的通用领域对话生成预训练模型PLATO，相关论文最近已正式被ACL 2020接收。PLATO是业界首个基于隐空间（Latent Space）的端到端的预训练对话生成模型。据悉，该模型利用隐向量来表示对话的潜在方向，从而达到对话内容丰富度和流畅度的显著提升。针对具体的对话任务，基于PLATO可以用少量数据训练得到非常流畅的对话系统。论文名称：PLATO:Pre-trained Dialogue Generation Model with Discr
2020-10-22 14:07:34
316
转载 对话智能新高度：百度发布超大规模开放域对话生成网络PLATO-2
机器之心发布机器之心编辑部近日，百度发布对话生成网络 PLATO-2，宣布在开放域对话生成模型上迎来重要进展。PLATO-2 承袭 PLATO 隐变量进行回复多样化生成特性，模型参数高达 16 亿，涵盖中英文版本，可就开放域话题深度畅聊。实验结果显示，PLATO-2 中英文对话效果已超越谷歌 Meena、微软小冰和 Facebook Blender 等先进模型。百度 NLP 于去年 10 月预公布了通用领域的对话生成预训练模型 PLATO，近期在 ACL 2020 上展示。最近，百度又新发布了超
2020-10-22 10:33:32
396
转载 基于知识图谱推理的关系推演
对于知识图谱的关注可以分为两个方面：知识图谱的构建和基于知识图谱数据结构的应用。知识图谱的构建主要关注如何整合结构化、非结构化的数据，实现用统一的语义数据结构如三元组RDF形式的数据存储。基于知识图谱的应用主要关注如何从这种语义数据结构中挖掘、发现、推演出相关的隐藏知识或新知识或者实现更上层的应用如搜索、问答、决策、推荐等，具体可以参考《三个角度理解知识图谱》。本文主要讲一下基于知识图谱推理的关系推演（或者叫做关系预测），主要包括如下几个方面：1、知识图谱推理的主要作用；2、知识图谱推理的基本原理；
2020-10-15 11:07:15
4741
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人