自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

山不过来,我就过去

个人博客:http://bei.dreamcykj.com 逐渐搬家中。

原创 免费临时短信临时邮箱接收验证码

现在大多数软件都需要注册验证,不注册就不给用。对于经常使用的软件来说,注册后可以保存一些信息,还是挺好的,但是对于那些只用一次就不用的软件来说,还必须要注册才能用,还疯狂推送广告,这简直就是耍流氓,比如某剪辑软件。这种情况下可以考虑使用临时手机或者临时邮箱来进行注册验证。 1 临时短信验证 1.1...

2020-04-15 11:53:34 484 0

原创 利用bat批处理命令实现Hexo文章的自动创建和部署

之前每次写文章时都是手动的使用命令创建文件,写好后又通过相应的命令将其部署到github上,然后一直就在想,能不能通过bat命令来实现这些机械性的操作,本文就详细介绍这个过程。 1 背景 想要利用bat批处理命令实现每次写文章时那些机械性的重复敲命令的过程,然后在网上搜了下,还真有一些大佬用了这...

2020-04-12 14:11:23 20 0

原创 我的搬砖工具(科研工具)推荐-附下载链接

论文搜索: semantic scholar or 谷歌学术 or 谷歌学术搜索按钮插件 NLP论文list: ACL Anthology 第一个国内都可以访问,后面的需要帆樯,如果学校图书馆可以上谷歌学术的话,可以直接使用后两个。做自然语言处理的可以在ACL网站上找最新的论文。 文献...

2019-12-20 20:47:26 808 0

原创 300行python代码从零开始构建基于知识图谱的电影问答系统5-答案获取

啦啦啦,终于快写完了,虽然我也知道并没有写什么实质性的东西,至少我坚持下来啦,后面再慢慢多拧拧,少一些水分。 在上一篇中,主要介绍了如何从接收到的用户问题中抽取关键信息,以及如何识别用户的意图,那么接下来就将介绍在得到了这些信息后,如何在知识图谱中查询答案。我在处理这个问题时,想得很直接,简单来...

2019-05-08 11:05:48 3183 32

原创 300行python代码从零开始构建基于知识图谱的电影问答系统4-用户问题预处理

今天天气不怎么好,我在五月份穿了三件衣服… 这篇主要介绍对用户问题的处理,也就是从获取用户问题到明白用户意图这个过程,主要涉及到命名实体识别(这个任务简单,我就用词性标注来代替了),问题分类,以及填充问题模板这几个部分。介绍的时候,可能会用一些代码来说明,但是下面列出来的代码并不完整,完整的代码...

2019-05-07 10:31:44 4258 9

原创 300行python代码从零开始构建基于知识图谱的电影问答系统3-实验环境和实验数据准备

貌似很久没有写了,这段时间一直在忙着准备复试,就有点耽误了,好吧,今天继续写。你们的魔鬼又来啦 (什么鬼 在上一篇中,我对整个系统的业务逻辑啰里啰唆的梳理了一遍,如果你被我绕晕了,那也没关系,因为不用看上面那篇也能继续往下走,当你自己理清楚他的逻辑的时候,你就会有一种踏破铁鞋无觅处,柳暗花明又...

2019-05-06 20:56:39 5212 12

原创 300行python代码从零开始构建基于知识图谱的电影问答系统2-系统业务逻辑介绍

昨天把这个教程的目录给理出来了,然后今天就想趁着这满腔热情(无心搬砖)把剩下的教程也写了。 对于整个系统,不管具体细节是怎么实现的,是逻辑一定要理清楚,于是这一节主要介绍各个模块的逻辑,为什么要这么做。 首先我简单的画了一个示意图(这叫啥图我也还给软件工程老师了,肯定不规范,帮老师画了一上午的图...

2019-04-16 16:38:42 4397 0

原创 300行python代码从零开始构建基于知识图谱的电影问答系统-目录

平时除了看论文还是看论文,感觉有点无聊,于是嘛就想着搞点东西来玩玩,然后就搞了一个非常简单的基于知识图谱的电影问答系统。系统是用python实现的,大概只花了1天吧,代码也仅有300多行,可以说是很容易上手了。然后在这里也简单的记录下整个搭建过程,给那些像我一样想玩玩的童鞋一些参考,大佬可以忽略。...

2019-04-15 19:45:05 10238 28

原创 Beam search 算法的通俗理解

Beam search 算法在文本生成中用得比较多,用于选择较优的结果(可能并不是最优的)。接下来将以seq2seq机器翻译为例来说明这个Beam search的算法思想。 在机器翻译中,beam search算法在测试的时候用的,因为在训练过程中,每一个decoder的输出是有与之对应的正确答案...

2019-04-11 21:47:47 2448 5

原创 【论文笔记14】Gated-Attention Readers for Text Comprehension

本文主要介绍GA reader模型的基本思想,由论文《Gated-Attention Readers for Text Comprehension》提出,论文直通车 1 论文概述 本篇论文的思想其实是很简单的,可以把其看成是AS reader模型的扩展,尽管模型简单,但是也取得了不错的成绩,也证明...

2019-04-03 14:27:56 155 2

原创 【论文笔记13】Attention-over-Attention Neural Networks for Reading Comprehension

本文主要介绍AoA reader 的模型结构,由论文《Attention-over-Attention Neural Networks for Reading Comprehension》提出,论文直通车 1 论文概述 该论文针对机器阅读理解任务,提出了AoA reader模型,在CNN/Dail...

2019-04-02 15:56:56 130 0

原创 【论文笔记12】Iterative Alternating Neural Attention for Machine Reading

1 《Iterative Alternating Neural Attention for Machine Reading》 (1)论文创新点 这个模型的文章和问题在真正使用时,都是根据前一时刻的隐层状态,动态的表示成一个向量; 在更新状态时,使用了gated机制(虽然看起来有点复杂)。 (2...

2019-03-30 21:42:48 240 0

原创 pytorch中LSTM输出问题

给出结论便于查询,具体分析过程见聊一聊PyTorch中LSTM的输出格式 output保存了最后一层,每个time step的输出h,如果是双向LSTM,每个time step的输出h = [h正向, h逆向] (同一个time step的正向和逆向的h连接起来)。 h_n保存了每一层,最后一个...

2019-03-18 19:20:10 2119 0

原创 visdom无法正常使用、只有蓝屏

如果出现蓝屏情况,说明服务是能够正常启动的,只是前端页面显示有问题,这些前端页面一般要翻墙才能下载,所以只要下载这些文件放进去就可以了。点我下载文件 正常运行结果: 下载后直接替换static文件即可,static目录下的文件情况如下: css目录下的文件情况如下: fonts目录下文件情况...

2018-12-19 21:32:46 2048 3

原创 【论文笔记11】TRACKING THE WORLD STATE WITH RECURRENT ENTITY NETWORKS

这个模型也就是前面提到的动态记忆,这篇论文来自ICLR2017,论文比笔记还是参考了北邮的两位大佬的博客,后面给出了原博客地址。 论文提出了一种新的动态记忆网络,使用固定长度的记忆单元来存储世界上的实体,每个记忆单元对应一个实体,主要存储该实体相关的属性(如一个人拿了什么东西,在哪里,跟谁等等),...

2018-12-12 17:29:12 162 0

原创 【论文笔记10】Key-Value Memory Networks for Directly Reading Documents

上个月看了Facebook的记忆网络系列,前面的两篇论文的笔记看完就整理了,后面这几篇就耽误了,最近又看了一遍,于是及时整理,不然又忘了。这篇文章主要参考北邮的两位大佬(北邮张博、知乎-呜呜哈)的文章,这两个大佬是真的厉害Orz,他们的文章我在最后面贴出了链接。为了自己更好的理解,部分地方我进行了...

2018-12-12 16:31:15 1078 0

原创 【论文笔记09】Teaching Machines to Read and Comprehend

本文主要做出了两个大的贡献: 给出了阅读理解数据集的构造方法,并开源了两个阅读理解数据集; 提出了三种神经网络模型作为baseline,以方便后面的研究者进行相关的研究。 1 数据构造 主要是从新闻网站中抓取新闻作为文章,新闻的摘要去掉一个实体词成为query,被去掉的单词作为答案。为了防止模...

2018-11-19 20:10:27 159 0

原创 【论文笔记08】Dynamic Entity Representation with Max-pooling Improves Machine Reading

本文模型之前的模型都是用一个静态的向量来表示一个entity,与上下文没有关系。而本文最大的贡献在于提出了一种动态表示entity的模型,根据不同的上下文对同样的entity有不同的表示。 模型还是采用双向LSTM来构建,这时实体表示由四部分构成,包括两个方向上的隐层状态,,以及该实体所在句子的最...

2018-11-17 21:25:44 140 0

原创 【论文笔记07】End-To-End Memory Networks

1 背景 (1)在记忆网络中,主要由4个模块组成:I、G、O、R,前面也提到I和G模块其实并没有进行多复杂的操作,只是将原始文本进行向量表示后直接存储在记忆槽中。而主要工作集中在O和R模块,O用来选择与问题相关的记忆,R用来回答,而这两部分都需要监督,也就是需要知道O模块中选择的记忆是否正确,R生...

2018-11-17 20:30:59 123 0

原创 【论文笔记06】Memory Network

1 问题和解决办法 (1)问题 当遇到有若干个句子并且句子之间有联系的时候,RNN和LSTM就不能很好地解决; 对于句子间的这种长期依赖,于是需要从记忆中提取信息; (2)解决办法 本文提出了实现长期记忆的框架,实现了如何从长期记忆中读取和写入,此外还加入了推理功能; 在QA问题中,长期记...

2018-11-02 16:59:22 253 0

原创 【论文笔记05】WORDS OR CHARACTERS? FINE-GRAINED GATING FOR READING COMPREHENSION

1 问题和数据集 1.1 问题 这是一篇以阅读理解为任务的文章,但在具体处理这个任务时,主要解决数据特征等的表示问题。在提取文本特征时,通常只对单词做词嵌入,而忽略了字符级的特征。 1.2 数据集 CBT WDW SQuAD 2 目前已有方法 2.1 单词级表示 (1)from a ...

2018-10-22 20:03:33 210 0

原创 【论文笔记04】TriviaQA_A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension

1 论文主要内容 本文是一篇资源论文,主要发布了用于检索式问答或阅读理解的数据集Trivia QA; 对该数据集的质量和数量进行了分析,并创建了baseline,用于具体评估数据集的质量。 2 Trivia QA数据集的特点 问题比较复杂 在问题和相应的答案句子中有大量的句法或词汇变化 ...

2018-10-22 15:47:35 688 0

转载 深度学习中的注意力机制

最近读到论文《Attention Is All You Need》,在网上也查了很多资料,然后又对这篇论文重新理解了下,收获颇多。在这过程中,发现一篇很好的文章,来自张俊林博士的深度学习中的注意力机制(2017版)。强烈推荐,难得的好文。如果要想理解注意力机制的思想,看这篇文章绝对够了。 原链接:...

2018-10-18 19:21:59 324 0

原创 tensorflow中sequence_loss_by_example()函数的计算过程(结合TF的ptb构建语言模型例子)

1 softmax 2 交叉熵

2018-10-15 20:18:30 4847 6

转载 一文搞懂交叉熵在机器学习中的使用,透彻理解交叉熵背后的直觉

本文转自:https://blog.csdn.net/tsyccnh/article/details/79163834 原作者:史丹利复合田 关于交叉熵在loss函数中使用的理解 交叉熵(cross entropy)是深度学习中常用的一个概念,一般用来...

2018-10-14 15:56:24 203 0

原创 【论文笔记03】ReasoNet: Learning to Stop Reading in Machine Comprehension

1 问题及数据集 1.1 问题 本论文主要解决一种面向Cloze-style(填空式)的阅读理解(问答)问题 1.2 数据集 (1)CNN&Daily Mail (2)SQuAD (3)Graph Reachability datase 2 已有方法 2.1 单轮推理 (...

2018-10-13 20:27:03 722 2

原创 【论文笔记02】Text Understanding with the Attention Sum Reader Network

1 问题及数据集 1.1 问题 给定较长一段话的context和一个较短的问题,以及一些candidate answers,训练出可以准确预测正确答案的模型,本模型主要针对命名实体和常用名词这两种词性的单词进行填空。 1.2数据集 (1)CNN&Daily Mail...

2018-10-13 09:37:05 279 2

原创 【论文笔记01】Phrase-Based & Neural Unsupervised Machine Translation

这篇论文来源于EMNLP2018,论文地址,这次采用了思维导图的方式记录笔记,思维导图的缩略图如下: 缩略图有些模糊,于是我上传服务器了,可以直接点击查看。导图地址 ...

2018-10-08 20:05:54 871 0

原创 從零開始的 Sequence to Sequence

前段时间研究了下seq2seq,在网上查了写资料,但这些资料大都相同,要么就论文中的几个创新点来谈,要么就keras或者tensorflow提供的seq2seq例子来简单介绍下。很少有文章讲清楚了是怎么训练的,怎么预测的,后来翻到了一位同学的个人博客,他从RNN到LSTM再到seq2seq都讲得非...

2018-10-04 16:14:48 158 0

翻译 【论文翻译&笔记01】How Much Reading Does Reading Comprehension Require?

0 Abstract 最近的许多论文都涉及到阅读理解,他们一般都包括(问题,段落,答案)元组。或许,一个模型必须综合问题和段落两者的信息来预测相应的答案。然而,尽管人们对这个话题产生了浓厚的兴趣,数百篇已发表的论文争夺排行榜的主导地位,但关于许多流行基准测试难度的基本问题仍未得到解答。在这篇论文...

2018-10-01 11:05:32 277 0

原创 一种最原始的混沌神经元构造过程

title: 一种最原始的混沌神经元构造过程 date: 2018年9月25日13:55:30 thumbnail: https://raw.githubusercontent.com/xiongzongyang/hexo_photo/master/ch.jpg tags: - 笔记 -...

2018-09-25 13:56:21 331 0

原创 利用sklearn实现多分类demo

title: 利用sklearn实现多分类demo date: 2018-9-3 19:30:38 thumbnail: https://raw.githubusercontent.com/xiongzongyang/hexo_photo/master/iris.png tags: ...

2018-09-03 19:37:27 4240 0

原创 DataFrame的索引选项

经常用到DataFrame的索引切片,而且容易搞混,所以将《利用python进行数据分析》中的相关总结贴出来

2018-08-30 16:44:21 742 0

原创 Keras examples-imdb_cnn[利用卷积网络对文本分类]

1 任务描述 本实验室利用卷积神经网络对imdb数据进行文本分类 2 实验过程 (1)引入实验中所涉及到的包 数据集包、数据预处理包、网络模型包、网络各层结构所对应的包 from __future__ import print_function from keras.prepr...

2018-08-28 17:21:13 820 0

原创 Keras中加载预训练的词向量

经常需要加载预训练的词向量,有时候会脑抽忘记,所以记录下。 vocab={} # 词汇表为数据预处理后得到的词汇字典 # 构建词向量索引字典 ## 读入词向量文件,文件中的每一行的第一个变量是单词,后面的一串数字对应这个词的词向量 glove_dir="./data/...

2018-08-27 18:25:48 3792 2

原创 利用nltk可视化stanford coreNLP构建的中文句法树

在stanford coreNLP的网页中直接以树的形式可视化了解析结果。但在IDE中,利用python调用coreNLP server后返回的是字符串格式。这是可以利用nltk中的Tree类来可视化解析结果。代码如下: from nltk.tree import Tree from stanf...

2018-08-22 21:58:58 3926 2

原创 两种在Python中使用Stanford CoreNLP的方法

这两种方法都需要提前下载CoreNLP最新的压缩包,再下载对应的语言jar包。从CoreNLP下载页面下载。将压缩包解压得到目录,再将语言的jar包放到这个目录下即可。并且要求java -version>=1.8。 接下来就是利用python对该工具的使用进行一个封装,这里主要给出...

2018-08-22 11:20:37 10105 16

原创 ROC原理介绍及利用python实现二分类和多分类的ROC曲线

对于分类器,或者说分类算法,评价指标主要有precision,recall,F-score1,以及即将要讨论的ROC和AUC。本文通过对这些指标的原理做一个简单的介绍,然后用python分别实现二分类和多分类的ROC曲线。 1 基本概念 一个分类模型(分类器)是一个将某个实例映射到一...

2018-08-19 16:48:41 48102 38

原创 Keras examples-imdb_bidirectional_lstm[利用Bi-LSTM实现情感分类]

1 任务描述 本实验是训练一个双向LSTM,并在IMDB数据集上完成情感分类任务 2 具体实现 (1)引入必要的包 from __future__ import print_function import numpy as np from keras.preprocessing ...

2018-08-16 16:24:05 3007 0

原创 Keras examples-babi_rnn

1 任务描述 本实验利用提供的20个种类的数据集,完成KQA的任务。 2 具体实现 任务整体流程如图所示: (1)引入必要的包 from __future__ import print_function from functools import reduce import...

2018-07-24 21:48:44 475 3

提示
确定要删除当前文章?
取消 删除