自然语言处理
文章平均质量分 55
wang2008start
这个作者很懒,什么都没留下…
展开
-
单机多卡训练
启动方式的修改单机单卡的启动python run.py --model bert单机多卡的启动,2是卡的个数python -m torch.distributed.launch --nproc_per_node 2 run.py --model bert卡的设置方式修改上面改成分布式启动后,会自动传 local_rank 参数给程序,我们需要解析收到的 local_rank参数并进行设置parser.add_argument("--local_rank", type=in.原创 2022-04-28 12:13:12 · 1780 阅读 · 0 评论 -
EMNLP2021 generation相关论文
Contrastive Domain Adaptation for Question Answering using Limited Text Corpora $Q^2$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering A Large-Scale Dataset for Empathetic Response Generation原创 2021-12-31 15:47:40 · 426 阅读 · 0 评论 -
Low-Resource Knowledge-Grounded Dialogue Generation_biji
将 transformer 的 encoder-decoder 改为 两个encoder+一个decoder,具体为dialog encoder和knowledge encoder,相加, 通过controller 来学习knowledge部分和 dialog 部分的权重。整体学习过程分为三阶段,第一阶段将两个 encoder 分别单独学习,第二阶段通过远程监督构造数据集,将两个 encoder 联合学习。通过检索和 dialogue 最相似的 document 构造弱监督伪知识数据集。..原创 2021-12-31 13:00:31 · 582 阅读 · 0 评论 -
词汇约束的 bart 生成
方法生成中包含指定的 keyword(可指定多个keyword)。一般处理此类问题时,把工作放在decoder阶段,这里将主要工作放在 encoder 阶段,encoder 过 softmax 后 进行分类,每个 token 是要进行拷贝/替换/插入(0/1/2) 的 action操作的某种。在decoder时进行相关操作。 生成包含指定keyword的任务,这里需要迭代多次才能完成,首次输入只有指定的keyword,对每个keyword的左右生成相应词,将输出作为第二阶段的输入,如此迭代。结束条件?原创 2021-12-30 12:18:17 · 619 阅读 · 0 评论 -
Semantic Parsing_biji
语义解析:将自然语言句子转换成计算机可识别的、可计算的、完全的语义表示,如lambda-表达式、SQL、语义图等基于深度学习的语义解析方法seq2seq,seq2tree,seq2act优缺点:seq2seq仅把语义表示扁平序列化,忽略了层次结构信息。seq2tree 生成层次结构化的语义表示。attention学习词语到词语语义表示之间的软对齐。seq2action 用语义图表示语义,用动作序列编码语义图的构建目标语言是形式化语言,这里的 decoder 使用严格的约束条件。基于预训练原创 2021-12-29 21:46:44 · 424 阅读 · 0 评论 -
Emotion-cause span extraction_biji
emotion cause identification 片段抽取,将造成某种情感的原因抽取出来,片段抽取采用的阅读理解的方式,找到 span 的 start 和 end 位置。模型先经过Transformer,再经过基于上下文的注意力,基于情感的注意力和基于位置的学习,最后经过全链接,loss 为 span_start + span_end + token_softmax_probability...原创 2021-12-19 18:27:14 · 313 阅读 · 0 评论 -
知识图谱问答_biji
基于模版查询基于语义解析基于检索排序基于深度学习Entity Linking in 100 Languages. (EMNLP 2020).An End-to-End Model for Question Answering over Knowledge Base with Cross-Attention Combining Global Knowledge. (ACL 2017)Key-Value Memory Networks for Directly Reading Documents原创 2021-05-26 11:58:46 · 335 阅读 · 0 评论 -
知识图谱与语言预训练_biji
知识图谱和Bert结合学习使预训练更加有文化ERNIE: Enhanced Language Representation with Informative Entities GPT2和知识图谱结合,生成新的节点和边COMET : Commonsense Transformers for Automatic Knowledge Graph Construction.ACL2019...原创 2020-12-19 17:47:27 · 492 阅读 · 1 评论 -
Zeroshot Multimodal Named Entity Disambiguation for Noisy Social Media Posts_biji
前提需要的知识点比较多,比如实体指称识别, 候选实体生成,候选实体消岐,few-shot, zero-shot, 实体链指,提及等, attention机制里的key value 原理。知识点补充few-shot, zero-shot(学习到的映射)实体链指,提及、候选生成将文本中的实体指称mention链向其在给定知识库中的目标实体的过程流程:实体指称识别、候选实体生成和候选实体消岐。候选实体生成是确定文本中的实体指称可能指向的实体集合attention机制里的key value 原理论原创 2020-11-20 14:08:54 · 664 阅读 · 0 评论 -
知识图谱与深度学习_biji
深度学习是分布式表示,知识图谱是符号表示利用已有知识图谱自动标注大规模数据的思想叫远程监督知识图谱表示学习:基于复杂关系建模TransR、CTransR基于关系路径建模PTransE基于属性关系建模融合实体描述融合层次类型信息 (实体在不同类型时有不同的知识表示,对各个实体的投影矩阵不同,投影矩阵的构建受到实体层次类型指导)知识的自动获取:基于选择性注意力机制基于关系层次注意力机制(层次注意力机制在关系层次上逐层为包含同一实体对的实例进行权重计算)基于注意力的多语言关系抽取(使用原创 2020-10-31 20:17:51 · 953 阅读 · 2 评论 -
oxford-deepNLP_biji
L2a Word Level Semantics( Word2Vec == PMI matrix factorization of count based models)Count-based methodsNeural Embedding Models: C&WEmbed all words in a sentence with E、Shallow convolution ov...原创 2020-04-05 21:46:38 · 200 阅读 · 0 评论 -
智能问答主要技术整理
基于RNN的Seq2seq BiMPM(bilateral multi-perspective matching) Neural Generative Question Answering QANet ICLR 2018 Generating Natural Answers by Incorporating Copying and Retrieving Mechanisms in S...原创 2020-03-31 21:38:58 · 371 阅读 · 0 评论 -
SeqGAN_biji
GAN做生成存在的问题GAN 不适用于离散数值,梯度不能回传到生成模型的问题解决方法:将生成器看作是强化学习中的 stochastic policy,SeqGAN 可以直接通过 gradient policy update 避免生成器中的可导问题。只能对整个sequence打分,如果生成器生成序列的同时判别器来判断,如何平衡当前序列的分数和未来序列的分数又是一个难题解决方法:判别器...原创 2019-11-13 16:29:25 · 172 阅读 · 0 评论 -
LDA_biji
数学知识Gamma 函数和分布(MLAPP 2.4.5)Beta 函数和分布(MLAPP 2.5.4)Beta-Binomial (MLAPP 3.3)Dirichlet-Multinomial (MLAPP 3.4)学习概率图模型的Inference问题。主要的算法分为exact inference和approximate inference两类。尽管LDA是最简单的Topic ...原创 2019-05-31 23:47:30 · 135 阅读 · 0 评论 -
word2vec_biji
语言模型:在NLP中,把 x 看作一个句子里的一个词语,y 是这个词语的上下文词语,那么f就是语言模型,模型的目的,是判断(x,y)这个样本,是否符合自然语言的法则,即词语x和词语y放在一起,是不是人话。统计语言模型(statistical language model)是建立在一段序列(比如一句话)上联合概率分布。skip-gram 模型是尝试用w_t预测context(w),具体是最大化“均...原创 2019-04-30 18:16:01 · 185 阅读 · 0 评论 -
word2vec doc2vec paragraph2vec topic2vec prodct2vec——paper 笔记
Distributed Representations of Words and Phrases and their Compositionality The Skip-gram Model Hierarchical Softmax Negative Sampling 高频词的子采样Distributed Representations of Sentences and Documents原创 2017-12-11 18:11:19 · 2136 阅读 · 1 评论 -
Reinforcement Learning_By David Silver笔记一: Introduction
IntroductionAgent and Environment,History and state, Agent state, Environment state, Information stat, Fully observable enviroments, Partially observable enviroments 环境完全可观测 环境部分可观测 Policy:原创 2017-12-11 15:52:20 · 291 阅读 · 0 评论 -
Reinforcement Learning_By David Silver笔记二: Markov Decision Processes
Markov Process Markov Reward Process Markov Decision Process (Markov reward process with decisions) a policy is a distribution over actions given states. GIven an MDP and policy,原创 2017-12-11 17:00:03 · 272 阅读 · 0 评论 -
自然语言处理-哈工大笔记
自然语言处理(计算机语言学、自然语言理解) 涉及:字处理,词处理,语句处理,篇章处理词处理分词、词性标注、实体识别、词义消歧语句处理句法分析(Syntactic Analysis)、语义分析(Senmantic Analysis)、机器翻译、语音合成篇章处理自动文摘当前热点信息抽取、文本分类、问答系统统计语言模型分词字串均分为词串。难点:未登录词 最大匹配法/逆向最大匹配法/双向匹配法/最佳匹配原创 2018-05-01 21:21:40 · 8964 阅读 · 1 评论 -
自然语言处理-Stanford笔记
1. Basic Text Processing1. Regular Expressions2. Word tokenization3. Word Normalization and Stemming4. Sentence Segmentation and Decision Trees2. Minimum Edit Distance1. Definition of Minimum Edit原创 2018-05-01 23:32:46 · 281 阅读 · 0 评论 -
Fast Network Embedding Enhancement via High Order Proximity Approximation——paper 笔记
这篇文章将网络表示学习抽象成一个通用框架,将已有的解决文章解决方法嵌套在这个框架上,以表明框架理论适用性,另外,更高阶的关系矩阵的构建,可以提升网络表示的效果,最后提出了怎样迭代高效的更新网络表示。邻接矩阵和 Laplacian 矩阵都刻画的是一阶信息,对本地节点间的关系建模。通过随机游走,通过 k 步从 i 节点到达 j 节点,我们可以构造 K 阶信息。得到K阶转移概率矩阵。NRL的两步...原创 2018-07-27 00:34:32 · 724 阅读 · 0 评论 -
CANE: Context-Aware Network Embedding for Relation Modeling——paper 笔记
清华的论文,思想:除了考虑structure因素,还考虑context因素,以及s和c的相互作用,同时引入了attention机制。Context-free Embedding: 向量表示固定,不会随上下文信息的变化而改变。Context-aware Embedding: 向量表示不固定,会随上下文信息的变化而变化。比如,对于一条边,CANE可以学习到V_u 和 U_v。 ...原创 2018-07-27 00:53:46 · 662 阅读 · 0 评论 -
Structural Deep Network Embedding——paper 笔记
简述论文思想:利用节点之间的关系 拉普拉斯矩阵 学习局部结构信息 ,描述图的一阶相似性;利用 AutoEncoder encoder和decoder的输入输出的差异学习图的整体结构信息,描述图的二阶相似性。...原创 2018-07-31 15:52:05 · 726 阅读 · 0 评论 -
Deep Neural Networks for Learning Graph Representations——paper 笔记
和基于 SVD 的降维(将原始的高维空间通过线性变换隐射到低维空间上)不同,深度神经网络,比如 stacked auto-encoders 学习到的映射都是高度非线性的。论文开头,通过介绍 Deepwalk,说明如何将节点的表示转化成线性表示。 展示两种word 向量表示方法:1,负采样的skip-gram和基于PPMI矩阵的矩阵分解。矩阵分解,利用词和词的共现矩阵来产生词向量表示,主要缺...原创 2018-07-31 15:52:29 · 2380 阅读 · 1 评论 -
Variation Autoencoder Based Network Representation Learning for Classification——paper 笔记
传统的方法是矩阵降维和矩阵分解作为表示,但是不适用于大型网络。借鉴 nlp 中的处理思路,先 随机游走,处理成节点序列,再使用节点在上下文中的表示。缺点:无法使用节点自身的信息。本文提出一种直观的方法是分别单独学习文本表示和网络结构,然后把两种独立的表示合并在一起。将网络的邻接矩阵和训练好的内容表示作为输入,经过 VAE 得到 embedding 表示。联合训练模型中的VAE的...原创 2018-11-23 13:26:20 · 498 阅读 · 0 评论 -
Self-Attention Mechanism
在计算 Attention 时主要分为三步,第一步是将 query 和每个 key 进行相似度计算得到权重,常用的相似度函数有点积,拼接,感知机等;然后第二步一般是使用一个 softmax 函数对这些权重进行归一化;最后将权重和相应的键值 value 进行加权求和得到最后的 Attention。目前在 NLP 研究中,key 和 value 常常都是同一个,即 key=value。...转载 2018-12-02 12:13:37 · 669 阅读 · 0 评论 -
从PCA到AutoEncoder
PCA理论简单,计算只涉及到线性代数的计算,特征保持正交性,如果原始特征不具有正交性,只有独立性,这个时候可以使用ICA。Kernel PCA在低维空间无法区分的特征,先通过Kernel函数从低维空间映射到高维空间,在通过PCA进行降维。...原创 2019-02-23 19:02:09 · 1623 阅读 · 0 评论 -
#自动写剧本#深度网络结构
初始化网络 def get_init_cell(batch_size, rnn_size): lstm = tf.contrib.rnn.BasicLSTMCell(rnn_size) cell = tf.contrib.rnn.MultiRNNCell([lstm] * 5) initial_state = cell.zero_state原创 2017-07-31 15:54:16 · 1331 阅读 · 0 评论