- 博客(30)
- 收藏
- 关注
RSS订阅原创 PGN: 指针生成网络
本文的混合指针生成模型通过指针从原文中复制单词，文本生成准确性提高，并解决了OOV问题，同时保留生成原文中未出现的新单词的能力，该网络可视为摘要方法和抽取方法之间的平衡，类似于应用于短文本摘要的 CopyNet 和 Forced-Attention Sentence Compression 模型。我们提出一种新型的覆盖向量（源于NMT，可用于跟踪和控制原文的覆盖率），结果表明，覆盖机制对于消除重复性非常有效。本文提出一种网络结构，在多句上下文总结中解决以上三个问题。指针生成网路文章连接。
2023-03-17 10:30:17
398
1
原创 抛弃模板的Promot Learning用于NER任务
Prompt Learning已被广泛应用于句子级自然语言处理任务中，但其在命名实体识别这类字符级的标记任务上取得的进展却相当有限。TemplateNER通过n-grams方法枚举所有的潜在实体构建prompt进行命名实体识别任务，使得Prompt Learning得以应用于命名实体识别任务，但该构建方法容易产生大量的冗余数据，影响模型的效率。针对上述问题，本文放弃了常规的prompt构建方法，采用预训练任务中的掩码预测任务的形式，将命名实体识别任务转化成将实体位置的词预测为选定的标签词的任务。...
2022-08-04 14:43:39
457
原创 DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks 论文解读
DAGA数据增强论文解读
2022-07-14 16:19:32
535
原创 Flat-Lattice-Transformer模型源码测试
Flat-Lattice-Transformer模型源码测试1. 下载embedding2. 下载数据集2.1. ~~OntoNotes~~2.2. MSRA2.2.1. 数据预处理2.3. Weibo2.3.1. 数据预处理2.4. ResumeNER3. 配置环境4. 配置`paths.py`文件5. 配置日志文件5.1. 使用V0中的`flat_main.py`5.2. 使用V1中的`flat_main.py`6. embedding文件预处理7. 训练模型7.1. G
2022-07-05 11:11:03
1098
2
原创 Convolutional Sequence to Sequence Learning卷积序列到序列模型的学习
在本笔记本中，我们将实现论文Convolutional Sequence to Sequence Learning模型。这个模型与之前笔记中使用的先前模型有很大的不同。根本没有使用任何循环的组件。相反，它使用通常用于图像处理的卷积层。简而言之，卷积层使用了过滤器。这些过滤器有一个宽度(在图像中也有一个高度，但通常不是文本)。如果一个过滤器的宽度为3，那么它可以看到3个连续的标记。每个卷积层都有许多这样的过滤器(本教程中是1024个)。每个过滤器将从开始到结束滑过序列，一次查看所有3个连续的标记。...
2022-06-12 10:32:42
1376
原创 pytorch-查看网络模型
1、print(model)import torchclass MyNet(torch.nn.Module): def __init__(self): # 必须调用父类的构造函数，因为想要使用父类的方法，这也是继承Module的目的 super(MyNet, self).__init__() self.conv1 = torch.nn.Conv2d(3, 32, 3, 1, 1) self.relu1 = torch.nn.
2022-05-30 21:17:02
1286
原创 软考高级系统分析师知识点整理
系统分析师知识点整理信息化战略体系企业战略规划：企业如何达到目标 信息系统战略规划：信息系统如何支撑这些目标 信息技术战略规划（IT战略规划）：需要哪些信息技术支撑信息系统 信息资源规划：信息化建设具体项目的实施。（功能建模、数据建模、ER模型）企业战略与信息化战略集成方法业务与IT整合（BITA）：重心是找业务与现有IT系统之间的不一致，并给出转变计划 企业IT架构（EITA）：帮助IT企业建立IT的原则规范、模式和标准信息系统战略规划方法第一阶段，以数据处理为核心，围绕职能部
2022-05-13 13:25:20
8228
原创 Beam Search源码理解
class Beam(object): def __init__(self, size,sos,eos): self.size = size self.tt = torch.cuda self.scores = self.tt.FloatTensor(size).zero_() # 大小为[beam_size]，记录当前每个beam的分数总和 self.prevKs = [] # .
2022-04-26 17:05:04
243
原创 Global Encoding for Abstractive Summarization 生成式文本摘要论文解读
论文解读https://blog.csdn.net/wu13599hao/article/details/87864788?spm=1001.2014.3001.5501#Global_Encoding_for_Abstractive_Summarization_2论文总结 1.Introduction 2.Global Encoding 2.1 Attention-based seq2seq 2.2 Convolutional Gated Unit （本文亮点） 3.模型最终结果
2022-04-25 16:47:34
594
1
原创 A DEEP REINFORCED MODEL FOR ABSTRACTIVE SUMMARIZATION论文解读
关于论文的解读[paper] A Deep Reinforced Model for Abstractive Summarization - LAUSpectrum - 博客园
2022-04-24 10:48:51
171
1
原创 VAE变分自动编码
很感谢李宏毅老师的教程视频，讲得实在是简单通透，视频地址如下：【深度学习】李宏毅Machine Learning (2017,秋，台湾大学) 国语_哔哩哔哩_bilibili依据李宏毅老师的讲解，我整理了一番VAE的笔记。先简单介绍一下VAE，VAE作为一个生成模型，其基本思路是很容易理解的：把一堆真实样本通过编码器网络变换成一个理想的数据分布，然后这个数据分布再传递给一个解码器网络，得到一堆生成样本，生成样本与真实样本足够接近的话，就训练出了一个自编码器模型。那VAE(变分自编码器)就是在自编码器模.
2022-04-19 11:25:46
6295
原创 Attention机制
但是Encoder-Decoder框架会有一个明显的缺点，Encoder会把输入句子X编码为一个固定长度的隐向量（语义编码c），会导致隐向量无法完全表示输入句子X的信息。可以从两个方面理解，1.隐向量的大小有限，无法表示语义丰富的句子，2.由于RNN类网络特点，网络会更加看中句子后面的信息，无法总揽全局。最简单的解决思路就是把所有RNNcell的输出组合起来使用，而不只使用最后一个RNNcell的输出，这个可以做到充分利用句子信息，可以一定程度...
2022-04-13 16:40:54
145
原创 文本摘要技术简介
一、动机篇1.1 什么是文本摘要？文本(自动)摘要是利用计算机自动地将文本(或文档集合)转换成简短摘要的一种信息压缩技术。一般而言，生成的简短摘要必须满足信息量充分、能够覆盖原文的主要内容、冗余度低和可读性高等要求。1.2 文本摘要技术有哪些类型？从不同的角度文本自动摘要技术可以被划分为不同的类型。按照摘要的功能划分：指示型摘要(indicative)——仅提供输入文档(或文档集)的关键主题，旨在帮助用户决定是否需要阅读原文，如标题生成。报道型摘要(informative)—
2022-04-12 22:24:08
4693
原创 文本摘要——综述报告
主要内容：1)文本摘要简介（是什么？）2)文本摘要现状（怎么样？）3)文本摘要分类（有哪些？）4)文本摘要主要技术5)附页一、 文本摘要简介（是什么？）文本摘要是指通过各种技术，对文本或者是文本的集合，抽取、总结或是精炼其中的要点信息，用以概括和展示原始文本的主要内容或大意。随着互联网产生的文本数据越来越多，文本信息过载问题日益严重，对各类文本进行一个“降维”处理显得非常必要，文本摘要便是其中一个重要的手段。作为文本生成任务的主要方向之一，从本质上而言，这是一种信息压缩技术。文本摘要的目的就
2022-04-09 22:20:21
3191
1
原创 Pytorch安装以及环境配置
首先查看系统的cuda版本的配置 nvcc -V 检查cuda 的编译版本是 nvidia-smi,但是一般使用的是nvcc -V 2、尤其要注意pytorch 、Python 、cuda 版本的对应问题查看Python版本 python --version查看cuda版本：cat /usr/local/cuda/version.txt torch、torchvision、cuda 、python对应版本匹配 3、添加镜像源cond...
2022-04-06 22:07:23
1344
原创 论文阅读笔记《Get To The Point: Summarization with Pointer-Generator Networks》
摘要在生成式摘要任务中，对于传统的seq2seq+attention的模型架构，作者提出它们有以下缺点:难以准确复述原文细节 无法处理原文中的未登录词(OOV) 在生成的摘要中存在一些重复的部分此文提出了一种新颖的架构来增强标准的seq2seq+attention模型，采用了两种正交(互相之间不存在交集)的新颖手段:使用指针生成器网络(pointer-generator network)，通过指针从原文中拷贝词，这种方式的高明之处在于正确复述原文信息的同时，也能使用生成器生成一些新的词
2022-04-06 11:12:44
513
原创 Docker-Compose简介以及常用命令
1、Docker-Compose简介Docker-Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排。Docker-Compose将所管理的容器分为三层，分别是工程（project），服务（service）以及容器（container）。Docker-Compose运行目录下的所有文件（docker-compose.yml，extends文件或环境变量文件等）组成一个工程，若无特殊指定工程名即为当前目录名。一个工程当中可包含多个服务，每个服务中定义了容器运行的镜像
2022-04-05 10:43:16
2298
原创 文本摘要相关模型
文本摘要是一种从一个或多个信息源中抽取关键信息的方法，它帮助用户节省了大量时间，用户可以从摘要获取到文本的所有关键信息点而无需阅读整个文档。文本摘要按照输入类型可分为单文档摘要和多文档摘要。单文档摘要方法是指针对单个文档，对其内容进行抽取总结生成摘要；多文档摘要方法是指从包含多份文档的文档集合中生成一份能够概括这些文档中心内容的摘要按照输出类型可分为抽取式摘要和生成式摘要。抽取式摘要从源文档中抽取关键句和关键词组成摘要，摘要全部来源于原文。生成式摘要根据原文，允许生成新的词语、短语来组成摘要。（更详
2022-04-03 10:51:30
3090
1
原创 基于医疗知识图谱的问答系统运行步骤-注意事项
本项目下载的是中科院刘焕勇的源码https://github.com/liuhuanyong/QASystemOnMedicalKG下载后如何运行的步骤方法：（1）安装neo4j数据库以及相应的包，安装Neo4j时要先安装JDKjava开发工具包。要注意使用的版本问题，Neo4j是版本4的，Java是1.8版本的，在本项目中使用的是py2neo=4.3.0版本的数据包，太高不可以运行。以下是关于安装Neo4j的相关链接以及基础了解：https://blog.csdn.net/sinat_
2022-03-30 16:20:47
3820
1
原创 关于XGBoost模型的浅理解以及用法
xgboost是一种集成分类器（弱分类器），xgboost 是基于提升树的。提升树：简单说，就是一个模型表现不好，我继续按照原来模型表现不好的那部分训练第二个模型，依次类推。形象的比喻就是：做题的时候，第一个人做一遍得到一个分数，第二个人去做第一个人做错的题目，第三个人去做第二个人做错的题目，以此类推，不停的去拟合从而可以使整张试卷分数可以得到100分（极端情况）。把这个比喻替换到模型来说，就是真实值为100，第一个模型预测为90，差10分，第二个模型以10为目标值去训练并预测，预测值为7，差三分，第三个
2022-03-29 21:59:56
4889
原创 Seq2Seq+Attention生成式文本摘要
任务描述: 自动摘要是指给出一段文本，我们从中提取出要点，然后再形成一个短的概括性的文本。自动的文本摘要是非常具有挑战性的，因为当我们作为人类总结一篇文章时，我们通常会完整地阅读它以发展我们的理解，然后写一个摘要突出其要点。由于计算机缺乏人类知识和语言能力，它使自动文本摘要成为一项非常困难和艰巨的任务。自动摘要通常分为抽取式摘要和生成式摘要，区别在于抽取摘要选择原文中若干句子作为只要，而生成式摘要利用文本生成技术根据原文生成摘要，这个摘要会出现原文中没有出现过的句子和词。生成式方法则应用先进的自然语言处.
2022-03-28 15:44:55
7807
18
原创 Linux常用命令（非常全）
Linux常用命令大全（非常全！！！）系统信息cat /proc/cpuinfo | grep "cpu cores" | uniq查看CPU核数arch 显示机器的处理器架构uname -m 显示机器的处理器架构uname -r 显示正在使用的内核版本dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI)hdparm -i /dev/hda 罗列一个磁盘的架构特性hdparm -tT /dev/sda 在磁盘上执行测试性读取操作cat...
2022-03-27 20:45:21
295
原创 Transformer Pytorch代码实现以及理解
Transformer结构论文：Attention is all you needTransformer模型是2017年Google公司在论文《Attention is All You Need》中提出的。自提出伊始，该模型便在NLP和CV界大杀四方，多次达到SOTA效果。2018年，Google公司再次发布论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，在Transformer的基础上，提出了
2022-03-27 16:03:34
2515
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人