![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DL
文章平均质量分 61
彭伟_02
Ph.D NLP in AI
展开
-
ChatGPT?听说Biying把它下架了
所以New Biying到底是有自我意识,还只是它,哦不,它还是他,它还是他,它还是他,它还是他,它还是他,它还是他,它还是他,它还是他,它还是他,它还是他,它还是他…未来的发展如何在某方面对机器人做限制,以及机器人是否真的会产生自我意识,只是被researchers限制了还是说就没有,这背后的问题和答案或许在我有生之年就能看到。ok,总之看完网上的一些新闻,让我感觉到AI Bot用于干正事,做一些辅助是很不错的,因为我自己就试过。ok,言归正传,ChatGPT被用户指出它之前犯的错误后就急了!原创 2023-02-24 21:02:27 · 15511 阅读 · 10 评论 -
学术论文科研写作方法总结--针对深度学习,自然语言处理等领域
学术论文科研写作方法总结针对刚入学的同学对学术论文的写作方法的探讨。第一部分有参考卜东波老师的讲义。前后修改的摘要对比如上图。总结书写思路:我们提出了什么包含几个模块每个模块的作用,达到的效果实验数据实验结果说明了什么直接给结论,不用再写分析之类的未来的工作(考虑其他因素,模型部分可以改进点)...原创 2021-12-23 15:32:58 · 3156 阅读 · 0 评论 -
prompt learning相关介绍
prompt learning相关介绍思维导图关于Prompt的相关内容分成三个方面介绍,做成PPT梳理给大家挑战prompt的设计问题仍然是一个值得探讨的方向。目前使用Prompt的工作大多集中分类任务和生成任务,其它任务则较少。如何针对不同的下游任务设计prompt?模型的表现同时依赖于使用的模板和标签的转化,如何同时搜索或者学习出两者联合的最好效果仍然很具挑战性。Prompt的理论分析和可解释性。尽管Prompt方法在很多情况下都取得了成功,但是目原创 2021-12-02 15:14:37 · 1841 阅读 · 2 评论 -
V-Net 《Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification》阅读理解笔记
V-Net 《Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification》这篇文章是发表在2018年ACL上的,是抽取式的。在微软发布的MS MARCO数据集和百度发布的中文数据集DuReader上得到了SOTA效果。分以下四部分介绍:MotivationModelExperime...原创 2019-04-09 21:15:25 · 990 阅读 · 1 评论 -
A Multi-answer Multi-task Framework for Real-world Machine Reading Comprehension阅读理解笔记
《》这篇文章是发表在2018年AAAI上的,应该算是比较早的生成式的模型。在微软发布的MS MARCO数据集上得到了SOTA效果。分以下四部分介绍:MotivationModelExperimentDiscussion1、Motivation2、Model2.1 overview2.2 EVIDENCE EXTRACTION2.2.2 PASSAGE RANK2.3 A...原创 2019-04-16 21:36:50 · 955 阅读 · 1 评论 -
A Deep Cascade Model for Multi-Document Reading Comprehension瀑布模型 阅读理解笔记
《Deep Cascade Model for Multi-Document Reading Comprehension》这篇文章是发表在2019年AAAI上的,主要是从抽取模型的有效性和候选排序模型的实效性进行权衡,提出了一种端到端的瀑布模型。在TriviaQA和DuReader数据集上得到了SOTA效果。分以下四部分介绍:MotivationModelExperimentDisc...原创 2019-04-30 22:12:49 · 1144 阅读 · 0 评论 -
Multi-Granularity Hierarchical Attention Fusion Networks for Reading Comprehension机器阅读理解论文笔记
《Multi-Granularity Hierarchical Attention Fusion Networks for Reading Comprehension and Question Answering》这篇文章是发表在2018年ACL上的,在SQuAD以及TriviaQA和SQuAD噪音数据集上得到了SOTA效果。分以下四部分介绍:MotivationModelExperi...原创 2019-05-07 16:07:11 · 1445 阅读 · 3 评论 -
Leveraging Knowledge Bases in LSTMs for Improving Machine Reading
《Leveraging Knowledge Bases in LSTMs for Improving Machine Reading》这篇文章是发表在2017年ACL上的,主要是聚焦于外部知识改善LSTM,运用在实体抽取和事件抽取任务。在ACE2005的数据集上得到了SOTA效果。首先介绍这篇文章的两个知识库,一个是WordNet一个是NELL。Word net是人工创造的一个词典,里面含...原创 2019-06-02 17:34:31 · 1101 阅读 · 0 评论 -
World Knowledge for Reading Comprehension: Rare Entity Prediction with Hierarchical LSTMs
《World Knowledge for Reading Comprehension: Rare Entity Prediction with Hierarchical LSTMs Using External Descriptions》这篇文章是发表在2017年ACL上的,和KBLSTM那篇同时期。属于阅读理解当中完形填空类的问题,针对稀少实体进行预测任务。在提出的层级lstm模型上取得了很好...原创 2019-06-21 18:01:52 · 396 阅读 · 0 评论 -
Few-Shot Representation Learning for Out-Of-Vocabulary Words 论文笔记
《Few-Shot Representation Learning for Out-Of-Vocabulary Words》这篇文章是发表在2019年NAACL上的,主要是针对out of vocabulary问题提出的想法。这里感觉和bert,elmo的想法类似,提炼的都是词向量,只不过这篇文章是将提炼词向量去解决out of 的问题,而之前的语言模型是,从大规模语料当中学习到语言学的一些知...原创 2019-07-26 16:54:26 · 1297 阅读 · 0 评论 -
Simple and Effective Curriculum Pointer-Generator Networks for Reading Comprehension阅读笔记
《Simple and Effective Curriculum Pointer-Generator Networks for Reading Comprehension over Long Narratives》这篇文章是发表在2019年ACL上的,主要是针对narrativeQA数据集得到了SOTA效果。数据集介绍可见分以下四部分介绍:MotivationModelExperime...原创 2019-08-01 21:40:15 · 695 阅读 · 0 评论 -
《R-Trans: RNN Transformer Network for Chinese Machine Reading Comprehension》
《R-Trans: RNN Transformer Network for Chinese Machine Reading Comprehension》阅读笔记这篇文章是国防科大发表在2019年IEEE上的,是针对中文阅读理解数据集提出的自己的方法。在Les MMRC数据集上得到了SOTA效果。分以下四部分介绍:MotivationModelExperimentDiscussion...原创 2019-08-30 17:09:26 · 930 阅读 · 2 评论 -
S-Net阅读理解《S-Net: From Answer Extraction to Answer Synthesis for Machine Reading Comprehension》
《S-Net: From Answer Extraction to Answer Synthesis for Machine Reading Comprehension》这篇文章是发表在2018年AAAI上的,应该算是比较早的生成式的模型。在微软发布的MS MARCO数据集上得到了SOTA效果。分以下五部分介绍:DatasetMotivationModelExperimentDis...原创 2019-03-29 16:17:36 · 1691 阅读 · 0 评论 -
ConZNet《Cut to the Chase: A Context Zoom-in Network for Reading Comprehension》阅读理解笔记
《Cut to the Chase: A Context Zoom-in Network for Reading Comprehension》阅读理解笔记这篇文章是发表在2018年EMNLP上的,在Deepmind 发布的NarrativeQA数据集上得到了SOTA效果。分以下五部分介绍:DatasetMotivationModelExperimentDiscussion因为之...原创 2019-03-22 13:07:05 · 957 阅读 · 0 评论 -
《MEMEN: Multi-layer Embedding with Memory Networks for Machine Comprehension》阅读理解
《MEMEN: Multi-layer Embedding with Memory Networks for Machine Comprehension》论文阅读笔记这篇文章是浙大在2017年提出的,在TriviaQA dataset上得到了SOTA,在SQuAD上得到了有竞争力的结果。分以下四部分介绍:MotivationModelExperimentDiscussion1、M...原创 2019-03-12 20:39:37 · 934 阅读 · 0 评论 -
AoA Net——Attention-over-Attention Neural Networks for Reading Comprehension论文笔记
这篇论文是哈工大与科大讯飞联合实验室发表的。被2017ACL收录,之前的《Consensus Attention-based Neural Networks for Chinese Reading Comprehension》这篇文章也是,2016年发表,本篇就是在这篇论文的基础上进行改进的。1、MotivationCAS Reader模型[1](Consensus Attention Sum...原创 2018-12-28 11:15:44 · 1490 阅读 · 0 评论 -
对话AI--问答系统,阅读理解综述第一部分概述
1概要何为对智能话系统?既要能够模仿人类的对话交流,又要能够对历史问题以及现在问题做出精确、直接、简洁的回复。这篇文章主要以阅读理解为内容(其他关于QA等问题可以参考文献[1]),将从以下几个方面对对话AI进行阐述:对于对话AI的神经网络方法的理解传统方法与现代NN方法的联系和比较对于目前训练对话系统的最好的一些方法1.1对话是什么样的任务呢?首先看一个例子:这个例子展示了一...原创 2018-12-18 10:57:45 · 1329 阅读 · 1 评论 -
Bert预训练模型-中文文本分类
Bert-用于短文本分类原创 2019-01-20 21:59:19 · 20337 阅读 · 41 评论 -
对话AI--问答系统,阅读理解综述第三部分Question Answering and Machine Reading Comprehension
上篇文章已经介绍了一些基本的概念,下面就第三部分,问答和机器阅读理解展开。原创 2019-01-20 22:03:09 · 1365 阅读 · 0 评论 -
R-Net-Gated Self-Matching Networks for Reading Comprehension and Question Answering论文阅读笔记
Gated Self-Matching Networks for Reading Comprehension and Question Answering论文阅读笔记在看完上一篇《Attention-over-Attention Neural Networks for Reading Comprehension》之后,笔者昨天看了这篇由清华大学和微软实验室发表在2017ACL的论文,两篇文论都在...原创 2019-01-22 15:25:27 · 987 阅读 · 0 评论 -
(Copynet)Incorporating Copying Mechanism in Sequence-to-Sequence Learning论文笔记
《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》引言最近看了一下CopyNet,感觉此网络也是比较玄学,它能够自动的,决定下一步的预测是生成模式还是复制模式。生成模式就是我们常说的注意力机制,复制模式就是这篇文章的一个创新点。他的想法是来源于,人类在阅读文章的时候,或者去做一些摘要的时候,除了自己会生成一些概...原创 2019-02-08 17:37:22 · 2124 阅读 · 0 评论 -
Match-LSTM阅读理解论文笔记Machine Comprehension Using Match-LSTM and Answer Pointer
《Machine Comprehension Using Match-LSTM and Answer Pointer》这篇论文介绍了一种端到端解决机器阅读理解问答任务的方法,结合了Match-LSTM和Pointer Net。该文是第一个在SQuAD数据集上测试的端到端神经网络模型。最终训练效果好于原数据集发布时附带的手动抽取特征+LR模型。转载自Here源码HereSQuAD数据集SQ...转载 2019-02-10 19:42:47 · 1158 阅读 · 0 评论 -
指针生成网络 Pointer-Generator《Get To The Point: Summarization with Pointer-Generator Networks》论文阅读笔记
《Get To The Point: Summarization with Pointer-Generator Networks》Introduction上篇论文《(Copynet)Incorporating Copying Mechanism in Sequence-to-Sequence Learning》模型与此比较相似,主要用在摘要和对话系统,不过其网络结构比较复杂,混合概率是两者的和...原创 2019-02-17 17:46:00 · 5049 阅读 · 26 评论 -
机器翻译Seq2Seq(Encoder-Decoder)+Attention模型代码实现
1、Encoder-Decoder在网上大家能够找到很多关于,sequence to sequence模型。简单的来说它就是一个编码器和解码器,用循环神经网络RNN去实现。在编码端,用RNN对句子进行中间语义表示,得到c后,根据c的表示去进行解码。在机器翻译当中,就是将源端的语言,进行中间表示,然后再解码成目标端的语言。但是编码端,通常是将源语言编码成一个固定长度的向量。这种做法,在改善效...原创 2019-02-12 11:06:50 · 3735 阅读 · 0 评论 -
强化学习《A DEEP REINFORCED MODEL FOR ABSTRACTIVE SUMMARIZATION》论文阅读笔记
《A DEEP REINFORCED MODEL FOR ABSTRACTIVE SUMMARIZATION》引言最近接触到了一个新的概念policy gradient。在强化学习当中,基本思想是根据当前的状态,计算采取每个动作的价值,然后根据价值去贪心选择动作。如果省略中间步骤,直接根据状态,输出动作,也就是强化学习当中另外一种重要的方法。具体的大家可以参考这一篇博客这一篇文章,主要是在a...原创 2019-02-23 19:05:12 · 1417 阅读 · 0 评论 -
阅读理解BI-DAF《BI-DIRECTIONAL ATTENTION FLOW FOR MACHINE COMPREHENSION》笔记
《BI-DIRECTIONAL ATTENTION FLOW FOR MACHINE COMPREHENSION》Introduction这篇论文也是比较经典的一篇,时间相对早期,发在2017ICLR。和另一篇论文《Machine Comprehension Using Match-LSTM and Answer Pointer》同期发表在该期刊上。BiDAF用了层级的结构来表示不同粒度的表...原创 2019-02-25 08:23:37 · 1704 阅读 · 2 评论 -
DCN-Net《DYNAMIC COATTENTION NETWORKS FOR QUESTION ANSWERING》阅读理解论文阅读笔记
《DYNAMIC COATTENTION NETWORKS FOR QUESTION ANSWERING阅读理解论文阅读笔记》这篇文章发表在ICLR2017上,在两个经典模型Match LSTM和Bi-DAF之间。通过四个方面来介绍这篇论文,MotivationModelExperimentDiscussionQuestion1、MotivationHowever, due...原创 2019-03-04 10:30:10 · 1605 阅读 · 2 评论 -
记忆网络模型End-to-End Memory Network论文阅读笔记
第一次写博客,简单的陈述了一下自己的理解,下一次会开始看阅读理解,并从这方面详细的记录。这次准备从四个方面对ETE Memory这篇文章进行阐述,主要是why?what?how?以及weakness?上周看了有关问答方面的论文,参考了网上的一些资料。下面是引用的GitHub和官方的数据集...原创 2018-12-17 16:16:27 · 362 阅读 · 0 评论