涂卡-CSDN博客

原创 Bert用在seq2seq任务上——UNILM实战

文章目录1.UNILM简介2.实战2.0 租服务器2.0.1 基础配置2.0.2 网络和安全组2.0.3 系统配置2.0.4 服务器的状态2.0.5 查看账单2.1 环境配置2.1.0 登录服务器2.1.1 安装torch2.1.2 配置 UNILM 要求的包2.2 训练2.3 验证3.结语1.UNILM简介按照我粗浅的理解：传统的seq2seq模型需要用一个encoder把输入的语料处理成向量,一个decoder把向量转换为词表里的词，生成目标语句。Bert是一个预训练好的语言模型，有三层

2020-08-24 23:23:22 3475

原创 [EMNLP21-findings] Named Entity Recognition for Entity Linking: What Works and What’s Next 阅读笔记

Named Entity Recognition for Entity Linking: What Works and What’s Next [pdf]论文状态：被EMNLP21-findings接收作者：Simone Tedeschi, Simone Conia, Francesco Cecconi and Roberto NavigliTL;DR: 本文尝试了各种利用命名实体类别信息辅助实体链接的方法，发现NER能够很好的在少样本训练的情况下辅助实体链接模型．1. Motivation作

2022-04-04 11:09:27 405

原创 [EMNLP21-findings] BERT might be Overkill: Biomedical Entity Linker based on ResCNN 阅读笔记

BERT might be Overkill: A Tiny but Effective Biomedical Entity Linker based on Residual Convolutional Neural Networks [pdf]论文状态：被EMNLP21-findings接收作者：Tuan Lai, Heng Ji, ChengXiang ZhaiTL;DR: 本文用ResCNN取代传统的BERT做Entity Linking，可以取得相近的效果并大量减少参数和计算时间．1.

2022-04-03 23:49:20 1383

原创 [ACL22] HIBRIDS:Hierarchical Biases for Structure-aware Long Document Summarization 阅读笔记

HIBRIDS: Attention with Hierarchical Biasesfor Structure-aware Long Document Summarization [pdf]论文状态：被ACL22接收作者：University of Michigan的 Shuyang Cao 和 Lu WangTL;DR: 本文用相对关系矩阵为transformer引入文档结构信息，进而提升长文档摘要的效果，并介绍了一个新的任务：结构化＂问题-摘要对＂生成．1. Motivation文档的

2022-03-28 16:46:54 1309

原创 [ACL22] An Imitation Learning Curriculum for Text Editing with Non-Autoregressive Models阅读笔记

An Imitation Learning Curriculum for Text Editing with Non-Autoregressive Models [pdf]论文状态：被ACL22接收作者：University of Maryland的 Sweta Agrawal 和 Marine CarpuatTL;DR: 本文介绍了两种互补的策略来解决NAR模型适应编辑任务时训练不足和泛化问题：roll-in policy和Curriculum Learning1. Motivation设计

2022-03-22 17:58:20 1355

原创 [ACL22-Findings] Entity Profile Generation for Wikipedia Entity Linking (Lai et al, 2022)阅读笔记

Improving Candidate Retrieval with Entity Profile Generation for Wikidata Entity Linking [pdf]论文状态：被ACL22-Findings接收作者：UIUC的 Tuan Lai, Heng Ji, ChengXiang ZhaiTL;DR:作者在候选实体检索任务上发明了Entity Profile Generation方法，用BART给mention生成一段含有标题和描述的profile作为query，用wik

2022-03-21 15:12:34 1678

原创 [ACL22] SummaReranker (Ravaut et al, 2022) 阅读笔记

ACL22的 SummaReranker论文阅读笔记

2022-03-20 19:47:35 677

原创 XML学习笔记

XML语法XML对大小写敏感XML 文档必须有一个元素是所有其他元素的父元素。该元素称为根元素。XML 的属性值须加引号<note date="08/08/2008"><to>George</to><from>John</from></note> 在 XML 中，有 5 个预定义的实体引用，来代替一些特殊的字符：实体引用显示的符号意义<<小于

2021-10-24 16:44:14 62

原创 Albert+ TextCNN 文本二分类任务实践

文章目录任务数据流程模型baseline自己写的输入输出AlbertClassifierModel训练细节参数实验在test集输出规则serch_f1线上任务参加了一个贝壳找房公司在DataFountain上举办的比赛任务：本次赛题的任务是：给定app中的交流片段，片段包含一个客户问题以及随后的经纪人若干对话消息，从这些随后的经纪人消息中找出一个是对客户问题的。这是一个二分类的问题，就是对许多的 (问题，答案)句子组合进行预测，如果问题和回答匹配了，就标注为1。数据训练集: 6000段对话

2020-10-24 08:51:56 3441 6

原创菜鸟教程html学习笔记

html学习笔记一、简介注意事项：对于中文网页需要使用<meta charset=“utf-8”>声明编码，否则会出现乱码。有些浏览器(如 360 浏览器和google浏览器)会设置 GBK 为默认编码，则你需要设置为<meta charset=“gbk”>。疑惑：难道html的使用性这么差吗，不同的浏览器就得写不同的charset ???二、语法注释在HTML源代码中想要添加注释，需要使用<!–…--> 注释标签。结构&lt

2020-09-02 22:22:27 279

原创 Hierarchical Transformers for Multi-Document Summarization笔记

学习文本之间的潜在联系一、导论提到了wikisum，尽管wikisum向抽象多文档摘要迈出了重要的第一步，但是：它仍然认为多个输入文档是连接的平面序列，不知道文档之间的层次结构和可能存在的关系。选择搜索结果前10个，每个结果可能有重叠，用不同的方式表达同样的内容作者强调文档间的图关系(PageRank？)作者貌似要替换掉文档间的注意力机制计算replacing inter-document attentionwith a graph-matrix computed b

2020-07-09 22:46:24 987

原创 WikiWrite: Generating Wikipedia Articles Automatically笔记

1.document embeddings → 获得单词和段落的矢量表示 → 向量算相似度 →判别不同的文章(分类器)2.两步的整数线性规划(ILP)模型 → summarize & rewrite一、导论假设1：类别信息是已知的，文章通常属于多个类别，而这些类别往往不是同等重要的。文章从多个类别总结 → 问题：文章不够精练，某些情况下，分类不能提供太多信息侵犯版权，意味着实体上的内容不能直接复制到维基百科连贯性问题我们使用段落向量模型(Le and Mikolov,

2020-07-08 23:34:54 207

原创 Generating Summaries with Topic Templates and Structured Convolutional Decoders笔记

用的是卷积解码器，和已知的经典RNN的seq2seq是不同的，有更好的内容覆盖率一、定义导言文档被组织成主题连贯的文本片段，在讨论的内容方面表现出特定的结构某些主题可能以特定的顺序进行讨论(比如描述物种的顺序一般是：类型、发现的地区、栖息地)任务和18年WikiSum一样二、模型我们的模型由一个结构化的译码器组成，它被训练来预测一系列应该在摘要中讨论的句子主题，并基于这些主题生成句子。encoder: CNNdecoder:document-level decoder first

2020-07-06 21:36:04 204

原创 Automatically generating wikipedia articles: A structure-aware approach笔记

这是少见的没有用神经网络的论文，感觉像是一股清流一、任务定义在本文中，我们考虑的任务是自动创建一个多段的概述文章，提供一个主题的综合总结。我们使用特定领域的自动生成的内容模板为文章选择相关的材料。(例如，关于疾病的文章的模板可能包含诊断、原因、症状和治疗。我们的系统通过分析人类创作文档的结构模式，归纳出这些模板。)我们将这个任务定义为一个结构化的分类问题。我们估计我们的模型的参数使用感知器算法与整数线性规划(ILP)公式，运行在给定领域的一个示例文章的训练集。我们的重点是生成新的概述文章，遵循维

2020-07-05 12:05:47 313

原创 Generating wikipedia by summarizing long sequences笔记

Generating wikipedia by summarizing long sequenceswe introduce a decoder-only architecture that can scalably attend to very long sequences一、任务定义我们将英文维基百科视为一个多文档摘要的监督机器学习任务input :维基百科主题(文章标题)、非维基百科参考文档集合组成output：维基百科文章文本二、相关工作input output作者的最大，说明作

2020-07-04 17:20:38 784

原创寒假学习java笔记

Day1 2020年1月21日1.一行最好只定义一个变量，定义多个变量要每个都赋初值2.浮点输入：（声明用Double/Float，利用in.nextDouble()/in.nextFloat()输入）浮点计算：只要运算符两边有一个浮点就按浮点计算，否则结果保留整数浮点比较：判断a==b? 使用 Math.abs(a-b)<1e-63.运算符优先级单目运算符优先级最高，（int）就是单目运算符，再如：–、++关系运算符优先级 < 加减关系运算==和!=优先级比其他的低6

2020-06-30 16:01:38 354

原创北航面向对象课程博客

一学期的面向对象课结束了，现在回忆一下还是很爆肝充实的。大概学了一些java的知识，jUnit单元测试，初步接触多线程编程，JML建模语言和UML建模语言。比较遗憾的是，没有自己搭建过评测机，都是用室友写的评测机来测试。四个单元，每个单元的博客都是在博客园发布的：OO第一单元总结——惊蛰OO第二单元总结——谷雨OO第三单元总结——小满OO第四单元总结——夏至(只有第一单元是用了心写的，并且用编程的角度写了一个关于鬼灭之刃的小故事哈哈哈)...

2020-06-30 15:38:40 324

原创 Re:从零开始的PyTorch生活 week1

Day1 6月28一、关于tensor辨析-1-1可以表示最后一行/列x=tensor([[-0.1859, 1.3970, 0.5236], [ 2.3854, 0.0707, 2.1970], [-0.3587, 1.2359, 1.8951], [-0.1189, -0.1376, 0.4647], [-1.8968, 2.0164, 0.1092]])print(x[:, -1])会打印最后一列:tens

2020-06-30 15:25:08 155

原创从零开始的LeetCode 生活 week1

Day2简单题用2个栈实现队列我的做法是只用了一个栈相当于就是一个队列。。删除，用到的是python的切片，从第一个往后切，时间复杂度应该是O(n)吧，空间复杂度是O(n)返回当然是第一个元素这样好像不是题目的意思额class CQueue(object): def __init__(self): self.queue = [] def appendTail(self, value): """ :type value: i

2020-06-30 13:53:02 108

Tuka2000的博客