自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 python的正则表达式匹配如何找到所有匹配成功的部分(包括重叠的)

比如: st = “平安夜吃苹果呀小菇凉” , pattern = '((平|苹).*?果)‘ 我希望匹配的字符串是 "平安夜吃苹果" 以及 “苹果” 很显然后面那个是包含在前面一个字符串中的。 解决方式有两种: 1. ?= 原理暂时我没有弄清楚,请路过的大佬指...

2020-04-23 16:11:43 170 0

原创 运行bash文件报错 syntax error near unexpected token '$'do\r''

在pycharm上直接写了一个sh文件,到服务器上面运行就报错,错误如标题。 then,在服务器上vim把所有的换行,空格删掉重打无效 最后,总结了错误原因以及两种解决方式。 原因: 其实很多博客讲了,因为windows和linux系统换行符的不同,在windows中换行符是'\...

2020-04-09 18:17:07 52 0

原创 point-wise element-wise

先占个坑 point-wise element-wise实际上是同一个东西,就是两个矩阵的对应位置逐点相乘,也就是说这两个矩阵的大小要是一样的。 不同的人有不同的表达,还有一个Hadamard product实际上也是同一个意思。 ...

2020-04-08 20:28:05 162 0

原创 RuntimeError: reduce failed to synchronize: device-side assert triggered pytorch训练

总述: 本意在于记录一下这个问题产生的种种情况,请注意不是显卡坏了,而是代码出错了。 1. nan问题 在训练的时候,长久累积某一个tensor,导致他的值过大产生nan。 还有可能是,某一个参数没有初始化,使得内存地址随意赋值,常出现于nn.paramter()的时候 ...

2019-12-10 03:29:41 1032 0

原创 [NLU] DialogueGCN: A Graph Convolutional Neural Network for Emotion Recognition in Conversation

总述: 最大的特色就是将GCN用在了对话情感识别上,这里的coversation可能是不止两个人的。然后故事写得很好,inter-dependency和intra-dependency还有self-dependency唬的我一愣一愣的。 主要模型: inter-depencency intr...

2019-11-19 00:20:43 721 0

原创 [NLG] A Context-aware Natural Language Generator for Dialogue Systems

总述: 16年的文章,感觉方法在现在看来已经很easy了,可见NLP领域的发展之迅速。 文章主要讨论了如何将context 引入到当前生成的句子中,baseline和seq2seq attention做对比,作者采用了两种方式,一种将context直接简单的接到DA的前面,DA(dialog ...

2019-11-18 00:49:23 170 0

原创 [NLU] Enhancing Dialogue Symptom Diagnosis with Global Attention and Symptom Graph

总述: 通过构造一种global attention的机制以及构造了symptom的图,提高了在医疗对话中,对于每一句话出现symptom的预测精度。以及提高了symptom inference(对于一种症状,病人是否有)的精度 贡献: 1.有一个开源的中文医疗对话数据集,大约两千多个对话,...

2019-11-16 17:21:31 155 0

原创 [NLU] Extracting Symptoms and their Status from Clinical Conversations

总述: 像是陈年玉米,又长又难嚼还没啥营养。 大抵就是他收集了3K诊所问诊的录音,然后在每一段录音的基础上识别出问诊过程中涉及到了哪些症状,以及推断这些症状是否出现在病人身上。但是其实模型very simple,就是一个lstm+CRF做tag的任务QAQ,不过实验室做了挺多的,类似于tran...

2019-11-14 11:44:57 103 0

原创 [NLG]A Working Memory Model for Task-oriented Dialog Response Generation

总述: memNN常用于在对话中引入KB的知识,然而之前的工作大多数把dialogue history和KB的memory混在一起,作者借鉴了心理学的研究。有个work memory(类似于电脑内存的感觉)可以和两个记忆做交互,一个知识记忆(semantic memory),一个历史记忆(epi...

2019-11-11 12:41:58 117 1

原创 [NLU] Improving Multi-turn Dialogue Modelling with Utterance ReWriter

总述: 主要是有一个utterance rewriter的机制,将一句话里面的省略和共指关系给找出来,然后形成一句新的话语,这样显示的声明一句话的省略部分和共指词可以提高对话系统的效果。具体来说对于task-oriented对话系统,提高了intention Precision(每一句话的意...

2019-11-09 13:15:54 496 0

原创 [NLG] Comparison of Diverse Decoding Methods from Conditional Language

总述: 总体上是一篇survey,不过后面在基础模型上加了oversampling的改进,然后还对原来的clustering post decoding做了改进。重点在于介绍在conditional language model (就是通过前文预测下一个单词的模型,如GPT)下如何使句子的生成具...

2019-11-04 12:17:49 64 0

原创 [NLG] Domain Adaptive Dialog Generation via Meta Learning

总述: 这篇文章貌似就是把end2end模式的dialogue system套了一层maml的更新方式,然后在few-shot领域上的效果比之前赵天成的ZSDG效果要好。感觉思路很清新也很简单,不知道是不是我没看懂QAQ总之要看懂这篇论文,首先得看下Sequicity和 MaMl 模型: ...

2019-10-24 01:54:48 177 0

原创 [DM]Sequicity: Simplifying Task-oriented Dialogue Systems with Single Sequence-to-Sequence Architect

总述: 这篇文章的主要特色在于生成dialogue believes,也就是作者所谓的belief span,在对话管理模块中,一般都需要首先对一句话的belief进行分类(就是一些slot-value对,一般来说分为两种类型,一种informable类型的,要告诉用户某一些具体信息,一种req...

2019-10-20 01:02:04 198 0

原创 [NLG]Few-Shot Dialogue Generation Without Annotated Data: A Transfer Learning Approach

总述: 我觉得这篇论文的主要亮点就是不要标注数据。之前赵天成的zero-shot虽然很惊艳,但是迫于每一句话都需要标注dialogu action,所以应用性不强。这篇论文就是结合了赵天成之前的两篇工作,第一个zero-shot,第二个laed(用于在大规模数据中学习找到对话潜在的latent...

2019-10-19 16:10:27 110 0

原创 [NLG] Pretraining for Conditional Generation with Pseudo Self Attention

摘要: 这篇文章的主要idea就是如何用现在已经有的语言模型,稍微引导一下生成基于某些条件的话语。如给个情感,生成一个带情感的句子。作者在GPT2的结构上稍微修改了self-attention机制,命名为Pseudo-Self,在decoder的时候引入外部控制,并且这样做能够尽量小的影响GP...

2019-10-17 01:19:42 109 0

原创 [NLG]Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generat

看这篇paper看的自闭了。作者用了太多操作了。。。 摘要: 作者的意思应该是要在一些无监督的语句中学会一些可解释的离散的laent action,然后用这些laent action指导对话的生成。什么叫可解释呢,我觉得这篇论文的意思就是,这个latent(意图,动作,相当于slot-val...

2019-10-15 01:51:58 83 0

原创 [NLG] Zero-Shot Dialog Generation with Cross-Domain Latent Actions

摘要: 简单来说,就是实现了对话生成的zero shot(零次学习)。首先在一些source domain当中学习一些domain的基本描述,希望学到的这些基本描述能够用于target domain的对话生成,其中source domain的领域和target domain完全不一样。但是属...

2019-10-13 02:00:05 167 0

原创 [NLG]GECOR: An End-to-End Generative Ellipsis and Co-reference Resolution Model for Task-Oriented Di

摘要: 之前还没有人做过multi-turn dialogue的有关省略和共指词汇的研究,只有短文本恢复省略词汇的研究。本文作者通过构造一个数据集(数据集中将dialogue的省略词和共指词都标记了出来),然后结合attention和copynet提出了一个end2end的multi-task...

2019-10-10 15:26:55 241 0

原创 [NLG]Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study?

摘要: 为了发现对话历史是否真的被有效的利用了,本文介绍了10种干扰来评测对话历史是否真正被利用。发现transformer-seq2seq 和rnn seq2seq并没有很好地利用这些信息 主要工作: 首先有一个前提:如果模型对于对话历史的改变不敏感的话,那么他基本上没有利用多少对...

2019-10-09 01:21:46 123 0

原创 解决tqdm一直往下滚动的问题

看大佬的代码,tqdm的进度条老老实实的呆在一行。 偏偏自己写起来:长这个鬼样: 把我要输出的信息都给覆盖了。 解决方式: 加上一个ncols的参数就行了,规定一下滚动条的长度,往下滚动的原因是它太长了。 for i in tqdm(range(100),ncols=80) ...

2019-09-19 16:02:28 1897 0

原创 -bash: */anaconda3/bin/conda: */anaconda3/bin/python: bad interpreter: No such file or directory

错误发生原因: 我移动了anconda的文件夹,把它移到了另外的目录,但是他的某些配置还是没有改变。以至于无法正常使用conda和pip命令 解决方案: 首先,检查path变量: echo $PATH 看一下环境变量中是否包含移动之后的文件目录,主要到*/anaconda3/bin这一...

2019-09-17 15:35:01 3048 0

原创 修改Tmux的Ctrl+B前缀快捷键

在电脑上ctrl+b是往前移动一个字符QAQ 1.查看prefix现有绑定键: tmux show-options -g | grep prefix 2.要在tmux内置命令中修改及时生效,可在终端中输入以下命令:(只对当前这一次登录有效,关机后失效)其中第一个-g设置全局生效快捷键。其实...

2019-09-13 11:06:30 1882 0

原创 RuntimeError: set_storage is not allowed on Tensor created from .data or .detach()

升级pytorch即可 我的pytorch版本是:1.1.0,升级到pytorch1.1.2就好了 如何查看pytorch版本: import torch print(torch.__version__) 我用的是Anconda,通过conda来升级pytorch,一般用conda都会...

2019-09-13 10:57:59 1573 0

原创 arxiv Access Denied 权限问题禁止下载解决方案

1.发邮件解决:如https://arxiv.org/denied.html所言 邮件格式: blocked access was logged from: (none) [202.116.81.170] at arxiv.org with User-Agent: Mozilla/5.0 ...

2019-08-23 15:36:33 2045 9

原创 通俗解释NLP任务四种评价指标(BLEU,METOR,ROUGH,CIDEr)

BLEU: 所谓BLEU,最开始是用于机器翻译中。他的思想其实很native,对于一个给定的句子,有标准译文S1,还有一个神经网络翻译的句子S2。BLEU的思想就是对于出现机器翻译S2的所有短语,看有多少个短语出现在S1中,然后算一下这个比率就是BLEU的分数了。首先根据n-gram划分一个短语...

2019-08-22 15:04:20 2667 0

原创 Educational Codeforces Round 63D. Beautiful Array(动态规划)

题意: 在一个数组里面,找一个连续子数组使得子数组和最大,这是最大子段和。 现在给定一个数x,要求,求数组中的某一个连续子数组乘上x之后,该数组的最大字段和是多少。 解法: 第一眼:毫无疑问这是线性DP,而且肯定就是最大字段和拓展一下。 第二眼:如果x是正的话,那就找出最大子段和然后乘上...

2019-04-23 11:37:39 137 0

原创 两行代码下载安装Anaconda(linux环境)

下载: 获取anaconda在清华镜像站的网址,然后在服务器端wget 网址就行了。 清华镜像站中anaconda的所有版本的网址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 找到自己想要的那个版本,然后右键-》复制链接地址。...

2019-04-16 11:04:57 4837 0

原创 Python seleinum设置代理

总述: 介绍seleinum在爬取的时候,如何设置代理 代码: from selenium import webdriver proxy = '182.85.206.240:6553' chrome_options = webdriver.ChromeOptions...

2019-04-12 16:08:06 302 0

原创 Python设置火狐浏览器谷歌浏览器 headless(无头模式)

总述: 在使用seleinum的时候,如果模拟谷歌或者火狐浏览器,出现一个界面的话太难受了。但是PhantomJS已经挂了(就是不太好用了),所幸firefox和chrome都有了无头模式,也就是没有界面的浏览器,在内存中执行。 firefox: from selenium import ...

2019-04-12 16:01:26 1588 0

原创 scrapy+seleinum 新手爬取微博热门话题避坑实录(19/4/12)

总述: 出于某些原因要爬一爬微博的热门话题,我的需求是:热门话题+热门话题下参与讨论的用户的基本信息。 接下来我会介绍三天里面我的工作以及令我印象深刻的坑,因为微博的反爬措施时时刻刻在更新着,所以代码可用度不太高,总而言之一句话:硬刚不了可以绕道而行。 advice1.网站选择 如果你需要...

2019-04-12 15:47:08 516 0

原创 谷歌浏览器获取网页元素的xpath

总述: 一开始接触爬虫的时候,一个元素的定位能让我纠结半天。定位有很多种,我觉得最好用的是xpath,在这里分享一个用谷歌浏览器自动定位元素的trick,以后定位元素只需要复制就可以了。 第一步:找到在网页上定位元素 找到你需要定位的元素,右键-》检查,那么谷歌浏览器的有边框就会跳到相对应的...

2019-04-12 14:38:21 2953 1

原创 leetcode1015. 可被 K 整除的最小整数

题意: 给定正整数K,你需要找出可以被 K 整除的、仅包含数字1的最小正整数 N。 返回N的长度。如果不存在这样的N,就返回-1。 题解: 一开始我还想dfs爆搜,但是预处理起来很麻烦。 没想到,真是没想到,还有这种操作!!!∑(゚Д゚ノ)ノ,直接遍历1e6个1的组合就行了。 其中...

2019-04-04 20:20:26 258 0

原创 leetcode1014. 最佳观光组合(机智题)

题意: 给定正整数数组A,A[i]表示第i个观光景点的评分,并且两个景点i和j之间的距离为j - i。 一对景点(i < j)组成的观光组合的得分为(A[i] + A[j] + i- j):景点的评分之和减去它们两者之间的距离。 返回一对观光景点能取得的最高分。 解法: 因为要求A...

2019-04-04 19:37:48 518 0

原创 【Pytorch-NLP实战系列】:Seq2Seq训练输出反义词(不到百行代码)

总述: 用RNN编码解码机制训练一个输出反义词的模型,目的在于熟悉pytorch的使用,代码中有新手不太懂的函数都引用了博客,请放心食用。 千言万语皆在代码中: #coding=utf-8 import numpy as np import torch import torch.nn as...

2019-03-22 11:08:58 492 0

原创 Python enumerate()函数的用法

总述: 介绍enumerate的用法。 1.enumerate的作用 enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列,同时列出数据和数据下标。 举个栗子: li = ["apple","pear"...

2019-03-22 11:03:03 192 0

原创 pycharm配置默认代码和注释

总述: 每次新建py文件的时候,希望在文件前面加上作者,以及编码格式 方法: 1.打开pycharm,左上角点击file File -> settings -> Editor -> File and Code Templates -> Python Script ...

2019-03-22 10:39:00 3605 0

原创 pytorch中RNN参数的详细解释

总述: 第一次看到这个函数时,脑袋有点懵,总结了下总共有五个问题: 1.这个input_size是啥?要输入啥?feature num又是啥? 2.这个hidden_size是啥?要输入啥?feature num又是啥? 3.不是说RNN会有很多个节点连在一起的吗?这怎么定义连接的节点数呢...

2019-03-21 16:35:23 5672 7

原创 c++ 常见的读入优化模板及使用

很久没更了,先来水一篇,读入的模板及用法,当然这还不是最快的 inline int read() { char ch=getchar(); int x=0,f=1; while((ch&gt;'9'||ch&lt;'0�...

2019-03-15 17:10:18 150 0

原创 AttributeError: 'Word2Vec' object has no attribute 'index2word'

在 Gensim 升到1.0.0 版本后,改变了一些包. 需要用model.wv.index2word来代替。 其他的大部分情况类似,不能直接用model直接调用,需要model.wv来调用  

2019-01-15 21:16:56 1381 2

原创 word2vec 如何获得当前的所有词向量表

使用函数:model.wv.index2word() 废话不多说,我们来看代码,假设我们已经训练好了模型。 from gensim.models.word2vec import Word2Vec import pickle model = Word2Vec.load('./a...

2019-01-15 20:43:18 5383 2

提示
确定要删除当前文章?
取消 删除