ShenggengLin-CSDN博客

原创生物信息学|药物发现中的机器学习技术（2）

本篇推文引自：Advanced machine-learning techniques in drug discovery1. 迁移学习如果数据量比较少，那么有一些技术可以用来规避这个问题。迁移学习就是这样一种技术，它是将从解决一项任务中获得的知识转移到另一项相关任务的过程。迁移学习是一种越来越流行的ML框架，特别是在医学图像分类中，它包含了一系列技术。迁移学习是通过从已经学习的相关任务中转移知识来改进对新任务的学习。该技术利用从用于预测其目标变量Ya的大数据集A生成的特征，并从数据不足的数据集

2021-03-25 13:23:29 1226

原创生物信息学|药物发现中的机器学习技术（1）

本篇推文引自：Advanced machine-learning techniques in drug discovery1. 摘要：机器学习(ML)在药物发现中的持续增长，产生了令人印象深刻的结果。随着它们的使用增加，它们的局限性也变得越来越明显。这些局限性包括它们对大数据的需求、数据的稀缺性以及缺乏可解释性。也很明显的是，这些技术并不是真正自主的，即使在部署后也需要再训练。在这篇综述中，我们详细介绍了如何使用先进技术来规避这些挑战，并举例说明了药物发现和相关学科。此外，我们提出了新兴技术及其

2021-03-25 13:23:12 1223 1

原创生物信息学|利用层注意图卷积网络预测药物-疾病关联

本篇推文引自：Predicting drug–disease associations through layer attention graph convolutional network1. 摘要：背景:确定药物与疾病的关联是药物开发过程中不可分割的一部分。然而，通过湿法实验来确定药物-疾病的关联是昂贵和低效的。因此，开发高效、高精度的预测药物-疾病相关性的计算方法具有重要意义。结果:本文提出了一种新的计算方法——层注意图卷积网络(LAGCN)，用于药物-疾病关联预测。具体来说，L

2021-03-25 13:22:54 2538

原创生物信息学|变分图自编码器

本篇推文引自：Variational Graph Auto-Encoders1. 图结构数据的隐变量模型：本文提出了变分图自动编码器(VGAE)，这是一种基于变分自动编码器(VAE)对图结构数据进行无监督学习的框架。这个模型利用潜在变量，能够学习无向图的可解释的潜在表示(见图1)。我们使用一个图形卷积网络(GCN)编码器和一个简单的内积解码器来演示这个模型。我们的模型在引文网络的链接预测任务上取得了有竞争力的结果。与现有的基于图结构数据的无监督学习模型和链路预测模型相比，我们的模型可

2021-03-25 13:22:33 1185

原创生物信息学|新颖的深度学习模型，更准确地预测药物-药物相互作用

本篇推文引自：Novel deep learning model for more accurate prediction of drug-drug interaction effects1. 摘要背景：准确地预测药物-药物相互作用(DDIs)的影响对于更安全更有效的药物联合处方很重要。许多预测DDIs效应的计算方法已经被提出，目的是减少在体内或体外识别这些相互作用的难度，但预测性能仍有改进的空间。结果：在本研究中，我们提出了一种新的深度学习模型来更准确地预测DDIs的效果。提出的模型

2021-03-25 13:22:09 2229

原创生物信息学|miRNA-疾病关联预测的图形自动编码模型

本篇推文引自：A graph auto-encoder model for miRNA-disease associations prediction1. 摘要越来越多的证据表明miRNAs的异常表达参与了人类各种复杂疾病的进化和进展。将疾病相关的miRNAs作为新的生物标志物，可以促进疾病病理学和临床医学的发展。我们提出了一种新的图自动编码模型GAEMDA，用于端到端地识别miRNA疾病的潜在关联。具体地说，GAEMDA模型应用了基于图神经网络的编码器，它包含聚合函数和多层感知器，用于聚集节点

2021-03-25 13:21:29 3323

原创生物信息学|MOLI:基于深度神经网络进行多组学数据整合并用于药物反应预测

本篇推文引自：MOLI: multi-omics late integration with deep neural networks for drug response prediction摘要动机:从历史上看，基因表达被证明是预测药物反应的最有价值的数据。最近的证据表明，整合额外的组学可以提高预测的准确性，这就提出了如何整合额外的组学的问题。无论采用何种整合策略，临床效用和可转化性都是至关重要的。因此，我们推断多组学方法结合临床数据集将提高药物反应预测和临床相关性。结果:提出了一种

2021-03-24 14:36:29 5140 1

原创生物信息学|癌症药物图谱使药物协同靶向成为可能

本篇推文引自：A cancer drug atlas enables synergistic targeting of independent drug vulnerabilities1. 摘要使用联合药物协同作用进行个性化的癌症治疗是有吸引力的，但同时也是一件困难的事情。在这里，我们提出了一种方法来揭示基于单药效应分析的药物组合的有效性。为此，我们使用了来自药物基因组百科全书的剂量反应数据，并将这些数据表示为药物图谱。药物图谱代表了药物作用之间的关系，并允许识别肿瘤在被两种药物攻击时的独立过程

2021-03-24 14:34:54 1090

原创生物信息学|Attention Is All You Need

本篇推文引自：Attention Is All You Need摘要主要的序列数据转导模型都是基于复杂的递归或卷积神经网络，其中包括一个编码器和一个解码器。我们提出了一种新的简单网络结构，Transformer，完全基于注意机制，避免了递归和卷积。在两个机器翻译任务上的实验表明，该模型具有更高的质量，同时具有更强的并行性和更少的训练时间。我们的模型在WMT 2014英德语翻译任务中达到28.4 BLEU，比现有的最佳结果(包括集成)提高了2倍以上。在WMT 2014英法翻译任务中，我们的模型在8

2021-03-24 14:32:46 321

原创生物信息学|自注意力机制

0. 什么是自注意力机制自注意力类似于注意力机制，它们从根本上共享相同的概念和许多常见的数学运算。自注意力模块根据k个输入，返回k个输出。此模块中允许输入相互交换信息，并找出他们应该更加关注哪个输入。自注意力机制分为以下步骤:准备输入初始化权重派生键、查询和值计算输入1的注意力得分计算softmax分数与值相乘对加权值求和得到输出1为输入2和输入3重复步骤4-7注意：数学运算是向量化的，即所有输入一起进行数学运算。1. 准备输入在本教程中，假设有3个输入，每

2021-03-24 14:31:30 717

原创生物信息学|疾病预测的个体特定边网络分析

1. 摘要在健康不可逆转恶化之前预测疾病前状态或临界点是一项困难的任务。基于动态网络生物标志物（DNB）理论的边网络分析（ENA）通过挖掘组学数据丰富的动态和高维信息，为研究这一问题开辟了一条新的途径。尽管理论上ENA能够识别疾病进展过程中的疾病前状态，但它需要多个样本对每个个体进行这种预测，这在临床实践中通常是不可用的，从而限制了其在个性化医学中的应用。为了克服这一问题，我们提出了用DNB检测个体特异性ENA（iENA）的方法，以单样本的方式识别每个个体的疾病前状态。特别是，除了传统的疾病诊断外

2021-03-24 14:30:09 2305

原创生物信息学|Extracting Drug-Drug Interactions with Attention CNNs

0. 摘要本文提出了一种新的基于注意力机制的卷积神经网络(CNN)的药物-药物相互作用(DDI)提取模型。CNN已经被证明在DDI提取任务上有很大的潜力;然而，尽管注意力机制在一般领域的分类任务中被证明是有效的，但在目标-实体对句子中强调重要词的注意力机制尚未被利用CNN进行研究。我们在DDI提取-2013共享任务的任务9.2上评估了我们的模型。我们的注意力机制提高了基于CNN的基础DDI模型的性能，该模型获得了69.12%的f-score，可以与最先进的模型竞争。1. 介绍当同时给病

2021-03-24 14:29:05 1322

原创生物信息学|通过基于多模态注意机制的卷积编码器进行可解释的抗癌化合物灵敏度预测

0. 摘要根据最近神经网络在药物设计和灵敏度预测方面的进展，我们提出了一种新的模型，利用基于多模态注意机制的卷积编码器对抗癌化合物灵敏度进行可解释预测。我们的模型基于药物敏感性的三个关键数据:化合物结构（SMILES），肿瘤的基因表达谱，以及来自蛋白质-蛋白质相互作用网络的细胞内相互作用的先验知识。我们证明，我们的多尺度卷积注意力编码器显著优于基于Morgan指纹训练的基线模型和基于SMILES的编码器选择，以及先前报道的最先进的多模态药物敏感性预测。此外，通过对注意权重的深入分析，证明了本文方法

2021-03-24 14:28:02 1130

原创生物信息学|通过整合药物表型、治疗、化学结构和基因组特征，使用机器学习预测药物-药物相互作用

0. 摘要目的：药物-药物相互作用(drug - drug interaction, dis)是药物开发和临床应用的重要考虑因素，尤其是联合用药。虽然在临床试验期间有必要确定所有可能的DDIs，但DDIs经常是在药物被批准临床使用后报告的，它们是引起药物不良反应(ADR)和增加医疗保健成本的常见原因。计算方法可以在临床试验中帮助识别潜在的DDIs。方法：提出一种异构网络辅助推理(HNAI)框架来辅助预测DDIs。首先，我们基于DrugBank数据构建了一个完整的DDI网络，该网络包含72

2021-03-24 14:25:52 2415 1

原创生物信息学|机制驱动的可解释深度神经网络，用于药物组合的协同预测和通路反卷积

0. 摘要联合用药在癌症治疗方面显示出了巨大的潜力。不仅可以减轻耐药性，而且可以提高治疗效果。抗癌药物数量的快速增长已经导致所有药物组合的实验研究变得昂贵和耗时。计算技术可以提高药物联合筛选的效率。尽管最近在将机器学习应用于协同药物组合预测方面取得了进展，但仍存在一些挑战。首先，现有方法的性能是次优的。还有很大的改进空间。第二，生物知识没有完全融入到模型中。最后，许多模型缺乏可解释性，限制了它们的临床应用。为了应对这些挑战，我们开发了一种基于知识和自注意力机制的增强深度学习模型TranSynerg

2021-03-24 14:22:43 1827

原创生物信息学|基于多尺度特征融合的药物-药物相互作用预测

0. 摘要动机:不良药物-药物相互作用(DDIs)是药物研究的重要内容，是药物发病和死亡的主要原因。因此，识别潜在的DDIs对于医生、患者和社会都是至关重要的。现有的传统机器学习模型严重依赖手工特征，缺乏泛化。近年来，深度学习方法能够自动从分子图或药物相关网络中学习药物特征，提高了计算模型预测未知ddi的能力。然而，以往的研究都是利用大量的标记数据，只考虑药物的结构或序列信息，而没有考虑药物与其他生物医学对象(如基因、疾病、通路等)之间的关系或拓扑信息，或者只考虑知识图谱(KG)，而没有考虑药物分

2021-03-24 14:20:21 1889 3

原创生物信息学|DeepPurpose:药物靶标相互作用预测的深度学习库

本篇推文引自：Novel deep learning model for more accurate prediction of drug-drug interaction effects1. 摘要背景：准确地预测药物-药物相互作用(DDIs)的影响对于更安全更有效的药物联合处方很重要。许多预测DDIs效应的计算方法已经被提出，目的是减少在体内或体外识别这些相互作用的难度，但预测性能仍有改进的空间。结果：在本研究中，我们提出了一种新的深度学习模型来更准确地预测DDIs的效果。提出的模型

2020-12-09 14:48:16 9127

原创生物信息学|通过图卷积编码器和深度集解码器，基于药物结构预测药物药物相互作用

本篇推文引自：Structure-Based Drug-Drug Interaction Detection via Expressive Graph Convolutional Networks and Deep Sets1. 摘要在这项工作中，我们提出了一种利用图卷积网络和深集(deep sets),基于分子结构的药物药物相互作用检测方法。与传统的GCN相比，我们提出了一个更具鉴别性的卷积层，在不丧失捕获复杂相互作用的能力的情况下实现置换不变预测（置换不变预测应该指的是，药物A与药物B的相互

2020-12-09 14:47:29 1799

原创生物信息学|用于预测药物-药物相互作用事件的多模态深度学习框架

本篇推文引自：A multimodal deep learning framework for predicting drug–drug interaction events1. 摘要动机:药物-药物相互作用(DDIs)是药物研究的主要关注之一。很多基于机器学习的方法被提出用于DDI的预测，但大多数都是预测两种药物是否相互作用。研究发现DDIs可引起不同的后续事件，预测DDI相关事件更有助于探讨联合用药或不良反应背后隐藏的机制。结果:在本文中，我们从DrugBank数据库中收集DDIs

2020-12-09 14:46:31 3379

原创生物信息学|深度学习改善了药物药物相互作用和药物食物相互作用的预测精度

本篇推文引自：DPDDI: a deep predictor for drug-drug interactions1. 摘要在本工作中，我们提出了一种新的方法(即DPDDI)，利用图卷积网络(GCN)和深度神经网络(DNN)模型作为预测器，从DDI网络中提取药物的网络结构特征，从而预测DDIs。GCN通过获取DDI网络中药物的拓扑关系来学习药物的低维特征表示。DNN预测器将任意两种药物的潜在特征向量串联起来作为对应药物对的特征向量，训练一个DNN，用于预测潜在的药物-药物相互作用。实验结果表明，

2020-12-09 14:45:27 2265

原创生物信息学|药物-药物相互作用的深层预测模型

本篇推文引自：DPDDI: a deep predictor for drug-drug interactions1. 摘要在本工作中，我们提出了一种新的方法(即DPDDI)，利用图卷积网络(GCN)和深度神经网络(DNN)模型作为预测器，从DDI网络中提取药物的网络结构特征，从而预测DDIs。GCN通过获取DDI网络中药物的拓扑关系来学习药物的低维特征表示。DNN预测器将任意两种药物的潜在特征向量串联起来作为对应药物对的特征向量，训练一个DNN，用于预测潜在的药物-药物相互作用。实验结果表明，

2020-12-09 14:44:36 4474

原创生物信息学|使用迁移学习预测未被研究组织中的抗癌药物协同作用

本篇推文引自：Anti-cancer Drug Synergy Prediction in Understudied Tissues using Transfer Learning1. 摘要动机:高通量组合药物筛选在确定癌症治疗方案上具有优势。一个关键的挑战是，对不同类型癌症的体外药物反应的观察积累数量差异很大，其中一些组织(如骨和前列腺)的研究不足。因此，本文的目标是建立一个药物协同预测模型，以克服缺乏研究的组织数据短缺问题。结果:从六个不同的数据库中收集了一套完整的癌细胞的遗传、分

2020-12-09 14:44:04 1755

原创人工智能在心电图中的应用

本篇推文引自：Artifcial intelligence for the electrocardiogram摘要：深度学习算法可应用于大型心电图数据集，能够识别异常心律和机械功能障碍，并有助于医疗决策。1. 分子描述符计算人工智能(AI)通过其使用基于计算机的算法优化过程和决策的能力，预计将彻底改变社会的许多方面。医疗创新对人工智能来说是一个极具前景的领域，具有巨大的社会经济潜在影响。在过去15年里，两项主要进展为人工智能在医疗创新领域的繁荣奠定了基础。首先，数据库和电子健康记录开始系统地收

2020-12-09 14:42:50 3882

原创底物的分子描述符计算及 CYP450 酶-底物选择性技术研究

本篇推文引自：基于网络的标签空间划分方法预测 CYP450 酶-底物选择性1. 分子描述符计算本文计算了四种类型的底物分子描述符并把他们当成 4 类特征表示用于机器学习建模，这 4 类特征包括：物化（Physiochemical, PC）特征描述符，mol2vec （M2V）描述符，扩展连接指纹（ECFP）和 Molecular ACCess System（MACCS）密匙指纹。在计算物化性质描述符时，通过使用一个经 Python 开源的化学信息包 RDKit（http://www.

2020-12-09 14:41:44 2524

原创多标签分类算法的研究进展

1. 机器学习中的分类问题在机器学习方向的相关研究中，分类问题可以被分为二分类问题、多分类问题及多标签分类问题。二分类问题即二元分类问题，其中某个样本只有“属于”或 “不属于”这一类两种情况；也可以称之为“0/1”分类，属于这一类即为“1”，不属于即为“0”。多分类问题也可称为多类别分类问题，即一个样本属于且仅属于多个类（一般多于两类）中的一个，其中一个样本只能属于一个类，不同类之间是互斥的。二分类问题及多分类问题可以统称为单标签分类问题。多标签分类问题又称多标记学习，不同于

2020-12-09 14:40:36 2551

原创用于自然语言理解的多任务深度神经网络(Multi-Task Deep Neural Networks for Natural Language Understanding)

1. 摘要本文提出了一个多任务深度神经网络(MT-DNN)，用于跨多个自然语言理解(NLU)任务学习表示。MT-DNN不仅利用了大量的跨任务数据，而且还受益于正则化效应，从而产生更通用的表示，以帮助适应新的任务和领域。MT-DNN扩展了Liu等人提出的模型，加入了一个预训练的双向transformer语言模型，称为BERT。MT-DNN在10个NLU任务上获得了最先进的结果，包括SNLI、SciTail和9个GLUE任务中的8个，将GLUE基准提升到82.7%(2.2%的绝对改进)。还使用SNLI

2020-10-07 21:03:29 5428

原创使用机器学习来测量基因间的相关性:一个多特征模型(Using Machine Learning to Measure Relatedness Between Genes)

1. 摘要测量一对基因间的条件亲缘关系是计算生物学的一项基本技术，也是一个重大的挑战。论文提出了一个新的机器学习模型—多特征相关性(MFR)，通过将表达相似度和基于先验知识的相似度纳入评估标准，来准确地测量一对基因之间的条件相关性。2. 介绍基因之间的相互作用通常被建模为一对基因之间0/1(非相互作用/相互作用)的二元关系，而亲缘性则意味着一对基因之间的某种程度的关系。相关性可以通过两种特征来衡量:表达相似度和基于先验知识的相似度。第一种特性通常是在一定条件下测量一对基因的共

2020-10-07 21:01:45 5267 1

原创一种特征选择算法TriVote(An OMIC biomarker detection algorithm TriVote and its application )

1. 摘要转录组和甲基化组模式是受可遗传信息和环境因素影响的两大主要基因组数据来源，已被广泛用作疾病诊断和预后的生物标志物。现代转录组和甲基化组分析技术可以检测到人类基因组中数以万计甚至数以百万计的探测残留物的状态，并对现有的特征选择算法提出了一个重大的计算挑战。本研究提出一种三步特征选择算法，TriVote，以检测具有高精确度的二分类性能的转录组或甲基化组子集。TriVote在17个转录组和2个甲基化组上均优于其它特征选择算法，具有更高的分类精度和更小的特征数。此外，文章还讨论了TriVote检

2020-10-07 21:00:04 5736

原创 RIFS:一种随机重启的增量特征选择算法(RIFS: a randomly restarted incremental feature selection algorithm)

1. 摘要大数据时代的到来给机器学习研究者带来了运行时间和学习效率的挑战。生物医学基因组研究就是其中一个大数据领域，它极大地改变了生物医学研究。但是数据生产的高成本和招募参与者的困难将“大p小n”的范式引入到生物医学研究中。特征选择通常用于减少生物医学特征的数量，从而实现一个稳定的数据独立的分类或回归模型。本研究随机改变广泛使用的增量特征选择(IFS)策略的第一个元素，选择可能被统计关联评价算法排序较低的最佳特征子集，如t检验。假设可以通过编排两个低等级的特征来获得较好的分类性能。提出的随机重启动

2020-10-07 20:56:05 6957

原创对GPR15基因进行泛肿瘤分析和虚拟筛查（An Integrated Pan-Cancer Analysis and Structure-Based Virtual Screening o）

1. 摘要 G蛋白偶联受体15 (GPR15，又称BOB)是一种被广泛研究的孤儿G蛋白偶联受体(GPCRs)，涉及人体免疫缺陷病毒(HIV)感染、结肠炎症和吸烟相关疾病。最近，GPR15被去孤化，其相应的天然配体显示出抑制癌细胞生长的能力。然而，没有研究报道GPR15在泛癌中的潜在作用。使用来自癌症基因组图谱(TCGA)和基因型组织表达(GTEx)数据库的大规模公开数据，本文发现GPR15在结肠腺癌(COAD)和直肠腺癌(READ)中的表达明显低于正常组织。在33种癌症类型中，GPR15的表达与CO

2020-10-07 20:54:15 5617

原创 Irinotecan和vandetanib在治疗胰腺癌患者时产生协同效应(Irinotecan and vandetanib create synergies for t)

1. 摘要背景:在胰腺癌(PAAD)中最常突变的基因对是KRAS和TP53，文章的目标是阐明KRAS/TP53突变的多组学和分子动力学图景，并为KRAS和TP53突变的PAAD患者获得有前景的新药物。此外，文章根据多组学数据尝试发现KRAS与TP53之间可能的联系。方法:利用TCGA和癌细胞系百科全书数据对KRAS/TP53突变进行多组学分析。除此之外，对KRAS和TP53进行分子动力学分析，以产生特定突变和癌变的机制描述。结果:发现与之匹配的野生型KRAS和TP53突变在基因

2020-10-07 20:52:09 4911 1

原创 DTI-CDF:一种基于混合特征预测药物靶点相互作用的级联深层森林模型

1. 摘要药物靶标相互作用(DTIs)在靶向药物的发现和开发中起着至关重要的作用。DTIs的计算预测可以有效地补充湿实验室技术对DTIs的识别。然而，现有的DTI预测方法存在精度低、假阳性率高的问题。本文提出了一种基于级联深度森林模型的预测方法，命名为DTI-CDF。在实验中，本文在三种不同的数据集实验设置下构建了5个重复的10倍交叉验证。实验结果表明，本文提出的DTI-CDF方法比传统的基于集成学习的方法如随机森林和XGBoost、深度神经网络以及最新的DDR方法取得了显著的性能提升。此外，有1

2020-10-07 20:50:00 7420 3

原创 MLCDForest:用深度森林对长链非编码RNA进行疾病预测的多标签分类模型

1. 摘要由于长链非编码RNA (lncRNAs)与多种人类疾病相关，近年来倍受关注。利用lncRNAs数据建立基于人工智能的疾病预测模型，这将有助于疾病的诊断和治疗。本研究提出了一种名为MLCDForest(Multi-Label classification with deep Forest)的深度学习模型，用于解决对给定lncRNA进行疾病预测时的多标签分类问题，可以看作是深度森林模型在多标签分类中的一种实现。MLCDForest是一种顺序的多标签粒度扫描方法，该模型考虑了标签间的相关性，与

2020-10-07 20:47:53 5474

原创带有社区检测算法的多标签学习方法预测药物靶点相互作用（DTI-MLCD）

1. 摘要确定药物-靶标相互作用(DTIs)是药物发现和药物重新定位的重要步骤。为了大大降低实验成本，蓬勃发展的机器学习被应用到这个领域，并发展了许多计算方法，特别是二分类方法。然而，目前的方法在性能上还有很大的改进空间。多标签学习可以减少二分类学习所面临的困难，并且具有很高的预测性能，目前还没有得到广泛的探索。它面临的关键挑战是指数大小的输出空间。本篇文章引入DTIs预测的社区检测方法DTI-MLCD来促进多标签分类。此外本文更新了2008年提出并至今仍在使用的黄金标准数据集。本文提出的DTI-

2020-10-07 20:45:05 7094 1

原创 CYP450酶简介

1. 摘要细胞色素 P450（Cytochrome P450, CYP450）酶最早于 1958 年在大鼠肝微粒体中被发现，因其与一氧化碳的混合物在 450 nm 处有一特异吸收峰而得名。CYP450 酶广泛地存在于细菌、真菌、植物及动物中。在细胞内，CYP450 酶存在于合成蛋白质的滑面内质网和传递能量的线粒体上；在人体中，CYP450 酶负责外源化合物、内源底物以及常见 90%的药物的氧化还原反应过程，在保证药效和控制药物毒性等方面发挥着重要作用。至今，科学家们在人类基因组中共鉴定出57个

2020-09-29 09:43:59 24375

原创使用机器学习来测量基因间的相关性:一个多特征模型

1. 摘要测量一对基因间的条件亲缘关系是计算生物学的一项基本技术，也是一个重大的挑战。论文提出了一个新的机器学习模型—多特征相关性(MFR)，通过将表达相似度和基于先验知识的相似度纳入评估标准，来准确地测量一对基因之间的条件相关性。2. 介绍基因之间的相互作用通常被建模为一对基因之间0/1(非相互作用/相互作用)的二元关系，而亲缘性则意味着一对基因之间的某种程度的关系。相关性可以通过两种特征来衡量:表达相似度和基于先验知识的相似度。第一种特性通常是在一定条件下测量一对基因的共

2020-07-30 10:01:53 13467

原创用于自然语言理解的多任务深度神经网络

1. 摘要本文提出了一个多任务深度神经网络(MT-DNN)，用于跨多个自然语言理解(NLU)任务学习表示。MT-DNN不仅利用了大量的跨任务数据，而且还受益于正则化效应，从而产生更通用的表示，以帮助适应新的任务和领域。MT-DNN扩展了Liu等人提出的模型，加入了一个预训练的双向transformer语言模型，称为BERT。MT-DNN在10个NLU任务上获得了最先进的结果，包括SNLI、SciTail和9个GLUE任务中的8个，将GLUE基准提升到82.7%(2.2%的绝对改进)。还使用SNLI

2020-07-30 09:59:30 12967

空空如也

空空如也