Toyhom-CSDN博客

原创 EM算法求解男女升高-Python

EM算法求解男女升高-Python目前关于EM算法理论分析很全了，代码还比较少，一般就停留在最后的似然函数。

2024-01-08 18:02:45 443

原创如何快速开始AI科研(路线图)-基础篇

仅供深度学习(CV，NLP)方向参考

2023-07-13 23:12:38 536

原创 [论文笔记] Enhancing Personalized Dialogue Generation with Contrastive Latent Variables

[论文笔记] Enhancing Personalized Dialogue Generation with Contrastive Latent Variables: Combining Sparse and Dense Persona

2023-07-13 22:55:14 184

原创 Informer解析：使用Transfomer方法解决长序列时间序列预测（LSTF）问题

Informer：使用Transfomer方法解决长序列时间序列预测（LSTF）问题Transformer的三个问题1.自注意层的时间和空间复杂度都是O(L2)O(L^2)O(L2)2.多个自注意层是直接堆叠起来，导致内存占用过高O(level∗L2)O(level*L^2)O(level∗L2)3.Transformer仍然采用step-by-step的方式进行生成论文解决上述问题的三种方法1.ProbSparse Self-attention在自注意力计算实验时，作者敏锐的观察到某个时

2021-05-05 16:08:24 2322

原创 REALM: Retrieval-Augmented Language Model Pre-Training 翻译

2020-02-18 12:51:25 1520

原创中文新闻情感分类 Bert-Pytorch-transformers

中文新闻情感分类 Bert-Pytorch-transformers使用pytorch框架以及transformers包，以及Bert的中文预训练模型文本分类，模型通过提取序列语义，找到不同类别文本之间的区别，是自然语言处理中比较容易入门的的任务。1.数据预处理进行机器学习往往都要先进行数据的预处理，比如中文分词、停用词处理、人工去噪。以本文所用的数据为例，我们可以观察到，这个数据集...

2019-12-25 17:38:23 6821 5

原创 Chinese medical dialogue data 中文医疗对话数据集

Chinese medical dialogue data 中文医疗对话数据集Data_数据中有6个文件夹分别是:<Andriatria_男科> 94596个问答对<IM_内科> 220606个问答对<OAGD_妇产科> 183751个问答对<Oncology_肿瘤科> 75553个问答对<Pedia...

2019-12-09 16:14:48 3340 4

原创 BERT for Joint Intent Classification and Slot Filling 使用Bert的插槽填充与意图识别联合模型

BERT for Joint Intent Classification and Slot Filling使用Bert的插槽填充与意图识别联合模型Abstract意图分类和插槽填充是自然语言理解的两个基本任务。他们经常受到小规模的人工标签训练数据的影响，导致泛化能力差，尤其是对于低频单词。最近，一种新的语言表示模型BERT (Bidirectional Encoder Representa...

2019-11-21 20:45:13 7679 7

原创 pytorch1.2 transformer 的调用方法

torch.nn.Transformertorch.nn.Transformer(d_model=512, nhead=8, num_encoder_layers=6, num_decoder_layers=6, dim_feedforward=2048, dropout=0.1, activation='relu', custom_encoder=None, custom_decoder=No...

2019-11-12 20:34:39 14892 3

REALM Retrieval-Augmented Language Model Pre-Training 翻译.pdf

语言模型预训练已经显示出可以捕获数量惊人的世界知识，这对于NLP任务(例如问题解答)至关重要。但是，此知识隐式存储在神经网络的参数中，需要更大的网络才能覆盖更多的事实。为了以更模块化和可解释的方式捕获知识，我们使用潜在的知识检索器增强了语言模型的预训练，检索器使模型可以从预训练、微调和推理期间使用的大型语料库(如 Wikipedia)中检索并使用文档。首次，我们展示了如何使用蒙版语言建模作为学习信号并通过考虑数百万个文档的检索步骤进行反向传播，从而以无监督的方式对这种知识检索器进行预训练。我们通过微调开放域问答(Open-QA)的挑战性任务，证明了检索增强语言模型预训练 (REALM)的有效性。我们在三个流行的Open-QA基准测试中与最先进(SOTA)的显式和隐式知识存储模型进行了比较，发现我们在性能上优于所有以前的方法(绝对精度为 4-16％)，同时还提供了定性优势，例如可解释性和模块化。

2020-02-18

水质分类图片数据集（5000张）

5000张增强后的图片，把水质分为5类，使用resnet准确率能达到98%,然后实在没啥可写了，降低了一下积分，网站收得太多了

2019-12-04

翻译 BERT for Joint Intent Classification and Slot Filling.pdf

意图分类和插槽填充是自然语言理解的两个基本任务。他们经常受到小规模的人工标签训练数据的影响，导致泛化能力差，尤其是对于低频单词。最近，一种新的语言表示模型BERT (Bidirectional Encoder Representations from Transformers)，有助于在大型未标记的语料库上进行预训练深层的双向表示，并在经过简单的微调之后为各种自然语言处理任务创建了最新的模型。但是，并没有太多的工作探索Bert 在自然语言理解中的使用。在这项工作中，我们提出了一种基于BERT的联合意图分类和插槽填充模型。实验结果表明，与基于注意力的递归神经网络模型和插槽门控模型相比，我们提出的模型在多个公共基准数据集上的意图分类准确性，狭缝填充F1和句子级语义框架准确性均取得了显着提高。文件是对原文的翻译与理解。

2019-11-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人