![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 65
MoonLer
这个作者很懒,什么都没留下…
展开
-
DRQA-简单的思路整理
序言前段时间看了cdqa,所以自己顺手也把这个给看了看,没有细看,只是大致浏览了下源码由于cdqa是继承drqa的关系,所以两者框架思路很很多trick都是通的.简介官方githubhttps://github.com/facebookresearch/DrQA/#machine-reading-at-scale项目对应论文( 竟然是陈丹琪的一作…)https://arx...原创 2019-12-03 19:17:00 · 1796 阅读 · 0 评论 -
CDQA-简介与资料
序算是自己看得机器阅读理解的第一个小项目,断断续续看完了,还是有点收获的,所以把自己学的时候的一些资料放上来,其实github上都有,自己只是总结下.CDQA: closed-domain QA,闭域的QA系统.项目官方资料项目github官方:https://github.com/cdqa-suite/cdQACDQA——suithttps://github.com/c...原创 2019-11-27 22:01:08 · 795 阅读 · 0 评论 -
CQDA中针对bert的数据读取与处理
序其实本质上是对squad数据针对bert的变形处理,本文不深究细节,过于琐碎,相信会调用bert的人也不会被一个数据读入难住,这里是想形象的展示记录一下cqda里面数据处理的流程。小知识skearn 自定义转换器 [TransformerMixin, BaseEstimator, fit_transform, fit, transform]如果使用TransformerMix...原创 2019-11-26 21:43:14 · 515 阅读 · 0 评论 -
CDQA——BM25算法
序自己在看这个开源代码中看到了这个相似性算法和一些工程中的技巧,感觉很不错,算是多了点儿见识,以前还从没有用过稀疏矩阵这个存储结构,这里就写一个文档简单记录一下python小知识Python中关于eval函数与ast.literal_eval使用的区别介绍(图文)https://www.php.cn/python-tutorials-376459.htmlnumpy的广播机制(具体...原创 2019-11-25 16:25:36 · 455 阅读 · 0 评论 -
混合精度训练——资料+简单说明
序最近看CDQA这个开源库的时候看到了混合精度训练这种写法,所以简单去了解了下,结果得出了一个很悲催的结论:我的小破笔记本的显卡不支持混合精度训练…??!自己不研究这个,找到一些很不错的资料,自己看完后这里就奉送上!Tensor Core-----------------------------大神自取-----------------------------2. 想读读PyTor...原创 2019-11-23 16:51:38 · 504 阅读 · 0 评论 -
机器阅读理解文章推荐2—— 《Neural machine reading comprehesion:methods and threds》
序这是一篇综述类论文,由于机器阅读理解领域也算是现在深度学习流行领域的分支,市面上不会有像深度学习入门级别的教程那样那么多的资料,甚至找本好的书都难,个人只能考读论文和一些博客学习。看了一系列论文后,觉得自己需要连贯起来,对这个领域大致有一些了解,正好看到了这篇综述类论文,感觉还可以。读后感既然是综述论文,基本就是总结前人工作,所以很多东西自己都看过。论文对于整体的概括做的不错,很...原创 2019-11-16 14:37:19 · 177 阅读 · 0 评论 -
高斯混合模型资料
序这部分内容自己写也是搬运别人的,而且看完感觉不算难,这里就放上资料了。阅读顺序见下:[ 1 ] 多维高斯分布[ 2 ] EM及高斯混合模型[ 3 ] 代码代码基本和[2]推出的结论一样,理清出维度变换就好了。补充资料:自己本来是先看的下面的内容,但是不少细节没看懂,果然纯粹的理论我还是差火候,只能靠上面那三个捞了我一手。白板推导系列(十一)-高斯混合模型GM...原创 2019-10-29 21:20:38 · 113 阅读 · 0 评论 -
《A Through Examination of the CNN_Daily Mail Reading Comprehension Task》——Stanford Attentive Reader
序论文其他细节不再注意,只关注它的网络结构。可能是年代比较久远,github上只有一个这篇论文的代码…还是python2.7的模型结构模型分三部分:第一部分,编码:问题的词编码一样,先通过一个embedding表,把词编程embedding,然后过双向GRU,前向和后向连在一起表示这个token出的表示,同样对问题也编码,只说了问题编码后的维度:h,估计和其他论文一样,都是前向后...原创 2019-10-29 18:13:57 · 290 阅读 · 0 评论 -
《 Text Understanding with the Attention Sum Reader Network 》——Attention Sum Reader
序作为清华推荐的阅读理解论文的一篇,同时在张俊林大佬的博客里也看到了他的身影,觉得有必要看波论文,学习一下。(Attention Sum Reader)AS Reader可以看作是一维匹配结构的典型示例。这是一篇IBM 的几位大佬在2016年发表的论文(比较久远了)摘要We present a new, simple model that uses attention to dir...原创 2019-10-28 19:05:56 · 171 阅读 · 0 评论 -
机器阅读理解推荐博客文章
文章深度学习解决机器阅读理解任务的研究进展 author: 张俊林一直在关注的一位大佬,最开始准备入阅读理解的时候就找到了这篇文章,但是由于没有这方面的背景知识,看起来很难受,在看了三篇相关的论文后,重新回头看,收获颇多。总结看完才知道,memor network原来可以从推理的角度看结构,精彩,而且意识到了推理在阅读理解中的重要性。Stanford AR的匹配函数则采用了双线性...原创 2019-10-28 16:10:50 · 153 阅读 · 0 评论 -
Teaching Machines to Read and Comprehend
序看博客都说《Teaching Machines to Read and Comprehend》是机器阅读理解的开山作,今天就来好好理一波。网上没有找到对应tensorflow的代码,只有一版theno的,此处就只从论文角度思考了。数据DeepMind Q&A Dataset CNN/Daily Mail处理好的数据下载连接对应数据下载处理的github代码:...原创 2019-10-27 15:46:54 · 337 阅读 · 0 评论 -
End-To-End Memory Networks
序本文简单记录一些自己读论文时看到的有趣的点,其他通俗的东西就不详细写了。《Memory Networks》是这一系列的开山之做,本文的提出是就在于 “End-to-End”,简单来说就是可以直接用反向传播优化算法训练了,就是文中提到的一个词:模式是连续的。特点: 外部记忆,end-to-end个人也找了个代码看了看:链接 ,当然代码github上很多,而且很有可能代码复现和论文说的细节...原创 2019-10-26 14:12:38 · 545 阅读 · 0 评论 -
情感分类——glove
序言glove自己很早就看完过,但是一直没有空看看源码,今天趁前面分类模型实验基本结束,看看它的源码。glove理论讲解glove源码Why is it?个人学习一个东西得弄清楚为什么学习它,glove的出现一定有他的道理。具体可以简单看看NLP CS224N笔记】Lecture 3 GloVe: Global Vectors for Word Representation下面...原创 2019-10-03 15:17:38 · 593 阅读 · 0 评论 -
情感分类——BiLSTM
序Bi-LSTM的理论就不再说了,本文在前文TextCNN的基础上,将模型改为Bi-LSTM,本意是比较模型效果,但是实际结果不太理想,有过拟和问题。最最前面写着写着感觉变了味道,本来准备水一下,结果拓展了很多出来,很零碎。如果你对理论不太清楚,可以去看:http://colah.github.io/posts/2015-08-Understanding-LSTMs/如果你对ten...原创 2019-09-28 22:34:27 · 3392 阅读 · 1 评论 -
情感分类——self-Attention
序本文为前文:Attention机制的延伸篇。self-attenion对应的视频个人推荐李宏毅讲解的版本。偏向于求解,但是讲的非常nice。首先,个人先做一个自己理解的比喻:attention其实可以看作一个有目标性的提取信息的过程,上一篇中的attention是根据target有选择性的提取source中的信息,那self-attention,其实就是自己提取自己的信息呗。那按照这个...原创 2019-09-30 00:37:56 · 1998 阅读 · 4 评论 -
情感分类——Attention
序曾经学过一遍,这次再来一次。PS: attention用于分类感觉有点不正经。理论实践参考[1] 深度学习中的注意力模型(2017版)https://zhuanlan.zhihu.com/p/37601161[2] ]Attetion计算稍微详细(又不太数学化的文章)https://www.jianshu.com/p/c94909b835d6...原创 2019-09-29 23:18:47 · 1264 阅读 · 0 评论 -
情感分类——Attention(前篇续)
序本文开始抄大佬的结果…三大特征抽取器在NLP领域里各有所长,推想起来要是把它们拉到NLP任务竞技场角斗,一定是互有胜负,各擅胜场吧?从几个不同的角度来分别进行对比:句法特征提取能力;语义特征提取能力;长距离特征捕获能力;任务综合特征抽取能力。上面四个角度是从NLP的特征抽取器能力强弱角度来评判的,另外再加入并行计算能力及运行效率,这是从是否方便大规模实用化的角度来看的。语义特...转载 2019-09-29 18:12:48 · 288 阅读 · 0 评论 -
NLP系列之文本分类(转载)
最前面brightmart大佬的仓库:text_classification:https://github.com/brightmart/text_classification自己也在做一个类似的,但是为什么我才看到…要是早看到,能方便很多…1前言本篇博客主要是记录自然语言处理中的文本分类任务中常见的基础模型的使用及分析。Github上brightmart大佬已经整理出很完整的一套文...转载 2019-09-29 16:31:39 · 550 阅读 · 0 评论 -
情感分类——Attention(前篇)
序君恩如水向东流,得宠忧移失宠愁。莫向樽前奏花落,凉风只在殿西头 ——李商隐文章题目: 《 带你全面认识自然语言处理三大特征抽取器(CNN/RNN/TF)》作者:张俊林链接:https://www.jiqizhixin.com/articles/2019-02-22-9知乎同文连接:https://zhuanlan.zhihu.com/p/54743941为了避免自己看过一篇经典...原创 2019-09-29 15:55:11 · 909 阅读 · 0 评论 -
情感分类——TextCNN
序Text-CNN出自《 Convolutional Neural Networks for Sentence Classification》这篇经典论文,由New York University的Yoon Kim大佬发表,作为文本分类的必入坑之一,论文整体简洁明了,本文就来窥视一波,这个经典的网络结构。本文依据原论文,不加任何多余trick。整体论文初识整篇论文做到了什么?...原创 2019-09-26 23:09:15 · 1177 阅读 · 0 评论 -
Word2vec——序言(资料篇)
序Word2vec应该是入门NLP的必入之坑,本人算是看过三遍,每一次都看到了不一样的东西,现如今由于要写一个word2vec,所以这次入坑最终拿下了word2vec。本人很惭愧的是,由于python写的过多,思维被固化(看得懂,却也不出来),这次写C的实现版本其实相当于抄了遍源码,最终看懂跑通而已…其实网上资料真的很多,但是你真的不需要那么多,迄今为止,我认为最好的理论讲解只有一个,我认为...原创 2019-09-22 23:07:46 · 143 阅读 · 0 评论 -
word2vec——Kmeans算法
序word2vec源码中最后一小部分,作者用c写了个k-means的算法,很久以前还啥都不懂的时候学过这个算法,现在回头做个简单的笔记,再分析一波源码。伪代码input: K值(聚类个数) T值 (循环的最大次数)对齐表示属于同一循环(同python)1. 初始化 K个中心点的位置while( i < T): (循环到最大循环次数时,跳出循环) for(遍历X中...原创 2019-09-22 22:26:54 · 923 阅读 · 0 评论 -
Transformer——理论篇
序在看这一篇之前,我希望你有一定的基础知识:1. CNN,RNN,Transformer比较2. Attention机制3. self-attention机制本文将紧接着前文的内容,对Transformer再进行一次探索(本人之前很浅的看过一遍,当初没有写点理论的笔记,现在忘了还得重新翻资料)Transformer没有你想的那么难,我们开篇。Who is it?姓名:Tra...原创 2019-09-30 19:22:16 · 1455 阅读 · 0 评论 -
如何用深度学习做自然语言处理?这里有份最佳实践清单
开篇看了一篇很有启发的博客,对照着审视自己,没有转载权限,这里放上链接:如何用深度学习做自然语言处理?这里有份最佳实践清单原创 2019-10-01 12:04:50 · 143 阅读 · 0 评论 -
Word2vec——语言模型篇
序其实,语言模型这个东西才是Word2vec最最核心的东西,但是网上博客给人种过于重视于Hierarchical Softmax和Negatove sampling这两个训练trick,凡事有个因果,这篇我来探讨一下,Word2vec的因。类似于整个NLP的趋势:规则->统计->神经网络,我们的语言模型也有这样一个发展趋势。本文是对:https://blog.csdn.net/...原创 2019-10-03 17:39:12 · 692 阅读 · 0 评论 -
word2vec中的skipgram和CBOW的比较
序word2vec里有两种模型思路,我觉得需要有个宏观对比印象。对比参考[1]因此,从更通俗的角度来说:在skip-gram里面,每个词在作为中心词的时候,实际上是 1个学生 VS K个老师,K个老师(周围词)都会对学生(中心词)进行“专业”的训练,这样学生(中心词)的“能力”(向量结果)相对就会扎实(准确)一些,但是这样肯定会使用更长的时间;cbow是 1个老师 VS K个学...原创 2019-10-03 17:17:18 · 1560 阅读 · 0 评论 -
并行计算——Udacity并行计算课程
序我只能用一句woc来形容我的心情了…Udacity并行计算课程白嫖Google GPU完成Udacity CUDA CS344 并行计算入门暂时挖一个大坑…最近看到太多好东西了,学不过来,个人操组系统学得一团糟,准备先补了操作系统再肝这个。...原创 2019-10-03 13:24:06 · 289 阅读 · 0 评论 -
情感分类——attention
序Transformer代码看完,正好试试它分类的效果,虽然不太正经…参数词向量随机初始化加了原论文的位置向量和mask两个head三个block块num_epochs = 20 # epochsbatch_size = 32 # batch_size代码其实就是transformer的encode部分,除了最后输出要变一下用于分类。代码...原创 2019-10-03 12:56:52 · 582 阅读 · 0 评论 -
Transformer——代码篇
序理论基本看完了,宏观认知有了,所以?开始愉快的lu代码把。参考[ 1 ]The Annotated Transformer[ 2 ]A TensorFlow Implementation of the Transformer: Attention Is All You Need[ 3 ]机器翻译模型Transformer代码详细解析...原创 2019-10-02 16:45:10 · 5000 阅读 · 3 评论 -
BPE系列之—— BPE算法
序在看transformer的代码时,看到了这个预处理,记得在最初做cnn情感分类的时候想过如何解决低频词和未登录词的问题,大致看过它,今天正好,趁此机会,学习一下这个算法。此算法在2016年,由《Neural Machine Translation of Rare Words with Subword Units》提出,应用于机器翻译,解决 集外词(OOV)和罕见词(Rare word)问...原创 2019-10-01 17:59:25 · 6281 阅读 · 1 评论 -
BPE算法系列——seq2seq模型中的未登录词
序在看transformer的代码时,看到了这个预处理,记得在最初做cnn情感分类的时候想过如何解决低频词和未登录词的问题,大致看过它,今天正好,趁此机会,学习一下这个算法。此算法在2016年,由《Neural Machine Translation of Rare Words with Subword Units》提出,应用于机器翻译,解决 集外词(OOV)和罕见词(Rare word)问...原创 2019-10-01 14:13:18 · 1029 阅读 · 0 评论 -
Word2vec中的Huffman树
序最近因为某些原因,要实现一下word2vec,但是想试一下C实现(然后开始怀疑人生,真的看得懂C,但是python写多了,写不出来C了,很别扭的感觉…),正好再次体验一下它源码,这篇是单独将其中Huffman算法提出来讨论一番。分三部分来说一下:(1)算法流程 (2)自问自答的方式拿些问题出来提一下 (3)自己注释好的的代码贴出来算法流程数据的数据结构:三个数组,count数组初...原创 2019-09-20 19:08:32 · 619 阅读 · 0 评论