
nlp
zenRRan
这个作者很懒,什么都没留下…
展开
-
COLING2018计算语言学进展
7.25号的时候,陪余南师兄去参加了COLING2018预讲会中科院自动化所现场。知己知彼,百战不殆。想要发出顶级会议论文,还是得分析当今潮流。所以今天给大家分享下特邀嘉宾张家俊(今年COLING领域主席)开场:从COLING2018看计算语言学进展报告。COLING 中国力量COLING:International Conference on Computational Li...原创 2019-03-11 20:37:07 · 537 阅读 · 0 评论 -
【顶会论文解析】罪行预测
作者bamtercelboo原文地址https://bamtercelboo.github.io/2018/07/19/Learning-to-Predict-Charges-for-Criminal-Cases-with-Legal-Basis/导读2017年EMNLP(Conference on Empirical Methods in Natural Language...转载 2019-03-11 20:38:13 · 1299 阅读 · 5 评论 -
【论文笔记】中文词向量论文综述(一)
导读最近在做中文词向量相关工作,其中看了一些中文词向量的相关论文,在这篇文章,将把近几年的中文词向量进展及其模型结构加以简述,大概要写3-4篇综述,每篇包含2-3篇论文。一、Component-Enhanced Chinese Character Embeddings论文来源这是一篇2015年发表在EMNLP(Empirical Methods in Natural Lang...转载 2019-03-11 20:40:46 · 1308 阅读 · 0 评论 -
详解文本分类之多通道CNN的理论与实践
导读最近在梳理文本分类的各个神经网络算法,特地一个来总结下。接下来将要一个文章一个文章的讲解各个算法的理论与实践。目录暂定为: 多通道卷积神经网络(multi_channel_CNN) 深度卷积神经网络(deep_CNN) 基于字符的卷积神经网络(Char_CNN) 循环与卷积神经网络并用网络(LSTM_CNN) 树状循环神经网络(Tree-LST...原创 2019-03-12 07:43:29 · 4623 阅读 · 4 评论 -
详解文本分类之DeepCNN的理论与实践
导读最近在梳理文本分类的各个神经网络算法,特地一个来总结下。下面目录中多通道卷积已经讲过了,下面是链接,没看的可以瞅瞅。我会一个一个的讲解各个算法的理论与实践。目录暂定为: 多通道卷积神经网络(multi_channel_CNN) 深度卷积神经网络(deep_CNN) 基于字符的卷积神经网络(Char_CNN) 循环与卷积神经网络并用网络(LSTM_CNN)...原创 2019-03-12 07:45:38 · 2096 阅读 · 0 评论 -
谈谈我在自然语言处理进阶上的一些个人拙见
导读自然语言处理这个方向我感觉已经泛滥了,很多方向的人都开始转向该专业,当然也包括转向计算机视觉的。之前我写过一篇文章谈谈我在自然语言处理入门的一些个人拙见对很多人有过帮助,我感到很开心。但是现在已经不同往日了,很多人早已经入门了。当然,如果你已经进阶了,就忽略这个文章吧。嘿嘿。很多人通过微信,公众号等问我:现在已经看完深度学习视频了,我该怎么办?或者我早已经写完分类器了,接下来怎么办...原创 2019-03-12 07:46:26 · 618 阅读 · 0 评论 -
一文轻松搞懂-条件随机场CRF
根据实验室师兄,师姐讲的条件随机场CRF,我根据我的理解来总结下。有什么疑问的尽管在评论里指出,我们共同探讨.总说CRF(Conditional Random Field),中文被翻译为条件随机场。经常被用于序列标注,其中包括词性标注,分词,命名实体识别等领域。但是为什么叫这个名字呢?下面看完了基本也就明白了!那我们继续吧。理论我们以命名实体识别NER为例,先介绍下NE...原创 2019-03-08 13:23:06 · 2163 阅读 · 8 评论 -
word2vec理论与实践
导读本文简单的介绍了Google 于 2013 年开源推出的一个用于获取 word vector 的工具包(word2vec),并且简单的介绍了其中的两个训练模型(Skip-gram,CBOW),以及两种加速的方法(Hierarchical Softmax,Negative Sampling)。一 、word2vecword2vec最初是由Tomas Mikolov 2013年在...转载 2019-03-08 13:28:05 · 705 阅读 · 0 评论 -
TreeLSTM Sentiment Classification
实验室周日讨论班讲的是TreeLSTM Sentiment Classification,主讲人:王铭涛本人来做一下总结。下面的图片来自于 王铭涛的ppt导读我们一步一步来。先说最基础的RNN结构:公式为:就一个简单的隐层h。但是RNN的缺点是会有梯度爆炸或者梯度消失问题。这里我就不详细解释了。下面推荐阅读有我之前的RNN,LSTM详细讲解,想更深一步了解...原创 2019-03-08 13:32:08 · 3483 阅读 · 0 评论 -
详解依存树的来龙去脉及用法
来历a.简单的短语分词(正向逆向最大匹配,n-gram,机器学习...)(以单个词为重点)比如: 猴子喜欢吃香蕉。->猴子 喜欢 吃 香蕉 。b.由分词转向词性标注猴子/NN 喜欢/VV 吃/VV 香蕉/NN 。/PU(但是能不能站在句子上分析呢?就有了下面的发展)c.由词性标注生成短语句法树(从整个句子分析)...原创 2019-03-08 13:32:47 · 9035 阅读 · 1 评论 -
基于attention的seq2seq机器翻译实践详解
理理思路 文本处理,这里我是以eng_fra的文本为例,每行是english[tab]french,以tab键分割。获取文本,清洗。 分别建立字典,一个english,一个french。 根据字典写好seq2id的函数(文本序列->数字序列),并调用将文本序列化。 初始化Encoder,Decoder模型;选择合适的优化器;设置lr,epochs等参数;...原创 2019-03-08 09:06:26 · 3487 阅读 · 4 评论 -
Bleu:此'蓝'非彼蓝
来源像seq2seq这样的模型,输入一个序列,输出一个序列,它的评分不像文本分类那样仅仅通过label是否一样来判断算出得分。比如机器翻译,它既要考虑语义,还要考虑语序。所以,在2002年一位国外的大牛(是的,没错基本木有中国人。。)Papineni et.al. 提出了Bleu方法,在Bleu:A method for automatic evaluation of machine tran...原创 2019-03-08 09:05:33 · 1153 阅读 · 1 评论 -
【干货】基于注意力机制的seq2seq网络
seq2seqseq2seq的用途有很多,比如机器翻译,写诗,作曲,看图写文字等等用途很广泛!该模型最早在2014年被Cho和Sutskever先后提出,前者将该模型命名为“Encoder-Decoder Model”也就是编码-解码模型,后者将其命名为“Sequence to Sequence Model”也就是序列到序列模型,两者有一些细节上的差异,但总体大致思想基本相同。seq2se...原创 2019-03-07 18:30:11 · 1159 阅读 · 0 评论 -
简单maxPooling单层网络句子分类框架和数学理论
数据清洗 分词 英文的文本肯定不用这一步,中文就必须分词了。词向量化 这里我将用随机的向量化,一个词的维度为 n*1句子向量化,标签01化 假设句子 x 词的数量是m,那么它的向量为 n*m(一列一个词向量,顺序排m列) 比如三分类标签 G 分别为[1,0,0],[0,1,0],[0,0,1]初始化权重W...原创 2019-03-06 15:59:14 · 491 阅读 · 0 评论 -
字符集及其存储方式(解决乱码问题)
在我们进行文本挖掘或处理文档时,都要面临一个最最基本的问题->就是解决乱码问题。在此,介绍最本质的字符编码。我们熟悉的有三种:ASCII字符集,中文字符集(GBK),Unicode字符集ASCII字符集故事: 美国信息交换标准代码,这是计算机上最早使用的通用的编码方案。那个时候计算机还只是拉丁文字的专利,根本没有想到现在计算机的发展势头,如果想到了,可能一开...原创 2019-03-09 10:47:54 · 1234 阅读 · 0 评论 -
谈谈我在自然语言处理入门的一些个人拙见
因为最近在准备本科毕设的论文部分,所以最近原创的相对比较少,但是为了坚持每天学点新知识,我也逼着自己每天抽出晚上的1小时左右把自己想到的并且自己还没理解的小知识点的网上搜索下好的文章,能一下子读懂的,最好有图之类的文章,再根据自己的一些小理解,将文章编辑下,分享给大家。末尾再附上自己的当天准备的五个托福单词,这五个单词我也不是我先学过的,而是托福单词随机到的,在我编辑的时候我也刚好学下。正是在这种...原创 2019-03-09 10:58:17 · 1127 阅读 · 0 评论 -
pytorch自然语言处理之Pooling层的句子分类
Pooling作为最简单的层其实也可以作为句子分类任务。Pooling有很多种,max_Pooling,avg_Pooling,min_Pooling等。常用的还是max_Pooling:取同维度的最大值。先看看流程图:这里的Linear Layer后面应该经过一个Softmax的,可是由于交叉熵cross_entropy里隐含有Softmax,这里我就没有画了。第一步搭建网络...原创 2019-03-06 21:22:07 · 2198 阅读 · 0 评论 -
详解中文维基百科数据处理流程及脚本代码
导读最近在做词向量相关工作,词向量的训练数据采用中文维基百科数据,训练之前,要对维基百科数据进行处理,这篇文章记录了一些处理过程及相关的脚本。一、维基百科维基百科(Wikipedia),是一个基于维基技术的多语言百科全书协作计划,也是一部用不同语言写成的网络百科全书。维基百科是由吉米·威尔士与拉里·桑格两人合作创建的,于2001年1月13日在互联网上推出网站服务,并在2001年1...转载 2019-03-09 23:02:17 · 2891 阅读 · 0 评论 -
NLP基础|中英文词向量评测理论与实践
导读最近在做词向量相关工作,训练的词向量如何进行评测?本文将从业界使用最广泛的两个评测任务进行阐述,包括相似度任务(word similarity task)和词汇类比任务(word analogy task),这里已经写好了相关评测脚本Word_Similarity_and_Word_Analogyhttps://github.com/bamtercelboo/Word_Simila...转载 2019-03-09 23:03:25 · 566 阅读 · 0 评论 -
基于汉语短文本对话的立场检测系统理论与实践
导读汉语短文本对话立场检测的主要任务就是通过以对话的一个人的立场为主要立场,而判断另一个人针对该人的回话的立场。立场包括支持,反对,中立三种立场。基于对话的立场检测应用方向很广,比如人机对话系统,机器需要判断对方说话的立场是什么来决定自己回话的立场;比如情感挖掘,和一个支持者的立场进行对话,就能判断出该对话者的情感倾向。本文采用深度学习的方法,使用双向 LSTM 神经网络进行对给定答案的...原创 2019-03-10 09:08:00 · 1228 阅读 · 1 评论 -
谈谈复杂多分类问题上的一些个人理解
最近遇到了复杂多分类问题,因为无论在自己平时生活还是导师或老板分配的任务里都很常见,所以打算写写,记录下点点滴滴。复杂多分类问题什么是复杂多分类问题?(复杂多分类是我自己命名的,如果命名错误请谅解)用一个例子来告诉大家:比如有一天zenRRan盗窃了东西的时候,被店主人发现,于是两人发生了争执,zenRRan就动手打了人家并且拿了值钱的东西跑了。最后警察根据路边监控的人脸识别功能...原创 2019-03-10 09:08:36 · 366 阅读 · 0 评论 -
深度学习之卷积神经网络CNN理论与实践详解
概括大体上简单的卷积神经网络是下面这个网络流程:笼统的说: 文本通过Embeding Layer后,再通过一些filters进行过滤,对结果进行maxPooling,再经过线性层映射到类别上,最后经过Softmax,得出类别分数。细致的说: 就得慢慢分析了,as follows:第一层:将Embeding进行filter 设...原创 2019-03-07 18:04:11 · 544 阅读 · 0 评论 -
自然语言处理之基于biLSTM的pytorch立场检测实现
其他文中已经讲过了LSTM的原理,LSTM理解了,biLSTM其实也就很容易理解了。这个实验,我是根据黑龙家大学nlp实验室的冯志,王潜升师兄的指导以及一篇基于biLSTM的paper实现的,如果想要这个paper的pdf,可以私聊我,一起进步。 biLSTM是双向循环神经网络,简单的理解就是LSTM正向走一遍,又反向走了一遍而已。而对于立场检测这个实验,在这里我借用...原创 2019-03-07 18:07:00 · 1881 阅读 · 9 评论 -
调参的一些个人拙见
最近的事。。浓缩成下面的一张图。调参有哪些方法呢? 语料处理。这个是之后一切操作的基础。有人或许认为算法是最重要的,其实不然,语料处理真的真的是最重要的。就比如中文语料处理,全角转半角,繁体转简体,大写转小写(中文语料也可能有英文呀)。语料处理好了,能提高好个点。 代码问题。有时候你虽然调出最高的参数了,可是你不能在此还原这样一抹一样的数据,为什么呢?我有一次就是这样。原因...原创 2019-03-07 18:23:58 · 375 阅读 · 0 评论 -
【干货】基于pytorch的CNN、LSTM神经网络模型调参小结
Demo这是最近两个月来的一个小总结,实现的demo已经上传github,里面包含了CNN、LSTM、BiLSTM、GRU以及CNN与LSTM、BiLSTM的结合还有多层多通道CNN、LSTM、BiLSTM等多个神经网络模型的的实现。这篇文章总结一下最近一段时间遇到的问题、处理方法和相关策略,以及经验(其实并没有什么经验)等,白菜一枚。Demo Site: https://github....转载 2019-03-07 18:29:21 · 7803 阅读 · 0 评论 -
详解Transition-based Dependency parser基于转移的依存句法解析器
主讲:余南整理:甄冉冉出自:黑龙江大学自然语言处理实验室周末讨论班以下图片,来自于余南师兄什么是依存句法树依存句法树就是表示一个句子中词与词之间的依存关系,如下图其中两个词之前的弧表示这两个词有依存关系,弧上的标签为二者的关系,弧的始发点为父亲节点,箭头指向为孩子节点。比如The 和 fox 是冠词+名词(det)的名词短语。除了一个词,即根节点(这...原创 2019-03-18 19:54:07 · 3035 阅读 · 1 评论