- 博客(473)
- 收藏
- 关注
RSS订阅原创 LSTM的新理解unit
一直对RNN的梯度爆炸和梯度消失懵懵懂懂，还有关于LSTM如何解决了这些问题的理解不透彻痛定思痛，要把这些边边角角都理解明白。fighting!!!https://blog.csdn.net/jizhidexiaoming/article/details/80930287...
2019-03-08 14:42:34
2105
原创 tf.multinomial()函数的理解
import tensorflow as tfsamples = tf.multinomial([[0.4, 0.6], [0.5, 0.7],[0.2, 0.1],[0.7, 0.8]], 1)with tf.Session() as sess: print(sess.run(samples))结果是：[[1][0][1][0]]注意结果并不是：[[1][1][0...
2019-03-07 17:45:47
716
原创 Machine Translation Paper Lists
[NAACL2018] Improving Neural Machine Translation with Conditional Sequence Generative Adversarial Nets
2019-03-04 20:46:11
378
原创 正则表达式中(?:)、(?=)以及(?!)等的用法
out = re.findall(r'\d+(?=abc)',"1abc") ## 只抽取数字，并且该数字后面跟的字符是"abc"print(out)out1 = re.findall(r'\d+(?!abc)',"1abf") ## 只抽取数字，并且该数字后面跟的字符是"abc"print
2019-03-01 11:12:42
31975
5
原创 Machine Translation Paper List
目前machine translation都是基于seq2seq框架的,大都应用了attention mechanism，将我读到一些关于 mt 的文章都整理如下：方便自己查询。Neural Machine Translation by Jointly Learning to Align and TranslateNeural Machine Translation by Jointly Le...
2019-02-28 17:14:34
323
原创 文本摘要 Paper List
文本摘要（都是针对长文本）(1) 抽取式(2) 抽象式(生成式)强化学习：非强化学习：Get to The Point:Summarization with Pointer-Generator Networks [ACL2017]Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting [ACL2...
2019-02-28 14:34:56
480
原创 命名实体识别(NER) paper list
CRF method：Conditional random fields:Probabilistic models for segmenting and labeling sequence dataBiLSTM-CRF methods：Neural Architectures for Named Entity Recognition Bidirectional LSTM-CRF models...
2019-02-28 14:02:36
1590
原创 机器学习中解决模型过拟合的方法
（1）目标函数中加入正则化（2）dropout（3）batch normalization（4）label smoothinghttps://baijiahao.baidu.com/s?id=1572001686264680&wfr=spider&for=pchttps://blog.csdn.net/qiu931110/article/details/86684241...
2019-02-19 16:57:51
726
原创 [CVPR2017]Self-critical sequence training for image captioning
一直以后都只关注NLP方面的paper，涉及到图像的文章基本不看，可是最近看了一篇文本摘要的的文章用了the self-critical policy gradient training algorithm，所以就看了这篇文章，旨在学习self-critical policy gradient, 很多新方法新技术一开始都是先用着了图像上之后才延伸到文本处理上，所以决定一点一点将图像方面的补起来，要...
2019-02-19 10:36:22
1160
原创 [ICLR2018] A Deep Reinforced Model for Abstractive Summarization
刚看完，稍后更
2019-02-15 18:44:15
989
1
原创 [ACL2017] Get to The Point: Summarization with Pointer-Generator Networks
生成式的文档摘要，主要是提出了Coverage机制，为了解决seq2seq模型生成句子中经常有重复片段现象
2019-02-12 18:30:27
2691
原创 [ACL2018]Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting
这篇文章很有意思，尽管我现在还不是理解的很透彻，先把里面涉及到的概念理解清楚，再看一遍源码再做笔记。policy gradient:coverage mechanismbeam search tri-gram avoidancediverse decoding algorithm...
2019-02-12 17:38:49
1084
原创 马尔科夫过程
最近在学习强化学习，其最基础的原理就是马尔科夫决策过程，发现一些讲解很清楚的博客，特记录在此偶尔翻翻强化下概念。https://blog.csdn.net/DeepOscar/article/details/81036635...
2019-02-12 14:00:04
737
原创 highway network
https://arxiv.org/pdf/1505.00387.pdf看SeqGan源码的时候发现代码里用了highway network, 为了更清晰与Resnet进行对比，所以特意进行打印了这篇文章。待细看后再总结https://blog.csdn.net/sinat_35218236/article/details/73826203https://blog.csdn.net/l494...
2019-01-18 16:58:35
668
原创 [AAAI2017]SeqGAN:Sequence Generative Adversarial Nets with Policy Gradient
目前在看源码：稍后更新关于本文解析的非常好的几篇博文：https://www.colabug.com/2639033.htmlhttps://blog.csdn.net/Mr_tyting/article/details/80269143https://www.jianshu.com/p/45d45b8541f0详解GAN在自然语言处理中的问题：原理、技术及应用：http://www....
2019-01-17 16:55:31
586
原创 GAN在自然语言处理方面的资料集锦
GAN在NLP上的运用：https://blog.csdn.net/longshao0612/article/details/72781495记录一次与大神们的关于GAN应用于NLP的讨论：https://www.jianshu.com/p/32e164883eab
2019-01-17 10:37:15
1351
原创 policy gradient
最近看强化学习的文章，里面涉及到的一个概念就是 policy gradient, 在网上找到的资料，觉得写得非常棒，特意总结于此，以备时时查看。https://www.jianshu.com/p/e9d47bb2dab2?utm_source=oschina-app...
2018-12-26 10:38:13
936
原创 [Coling2018]SGM：Sequence Generation Model for Multi-Label Classification
多标签分类问题在现实生活中是一个普遍存在的问题，比如电影分类问题，电影的类别有多种如：科幻、喜剧、动作和剧情等等，一部电影可以同时拥有多个类别，而且绝大多数电影都是拥有多个类别的。针对这样的问题，在应用研究中人们已经开始使用计算机来进行多标签分类问题的研究，在文本分类中，可以将一篇文章分类到多个话题中，如：社会、科学、体育和娱乐等。一、多标签分类与单标签分类的区别针对语料库中每一个实例都可以有...
2018-12-17 18:28:26
1774
原创 比较好的 Paper Notes 集锦
这些notes不是简单地翻译paper, 而是深入地进行解析，我觉得这些解析对于我理解这些Paper有比较大的帮助，特意总结在此以便下次查看。Deep Residual Learning for Image Recognition:https://blog.csdn.net/qq_30478885/article/details/78828734...
2018-12-06 18:31:05
672
原创 BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding
为什么采用’Masked language Model’ ?
2018-11-08 17:13:40
623
原创 [NIPS2017]Attention is all you need
这篇文章是火遍全宇宙，关于网上的解读也非常多，将自己看完后的一点小想法也总结一下。参考文献：https://blog.csdn.net/qq_41058526/article/details/80783925?utm_source=blogxgwz0...
2018-10-26 15:15:17
1727
原创 [NAACL2018]Deep Contextualized Word epresentations
这篇文章是NAACL2018年的best paper, 也是火的炙手可热，网上关于这篇文章的解读也是多如牛毛，但是不是有种说法，一千个人眼里有一千个哈姆雷特，所以讲自己的心得总结于此。也将比较好的解读放在下面的参考文献里。稍后更（一定会更的，必须要给自己压力啊）参考文献：https://zhuanlan.zhihu.com/p/38254332...
2018-10-24 17:12:34
306
原创 [Coling2018]SGM: Sequence Geneatin Model for Multi-Label Classificatin
这篇文章是Coling2018年的best paper, 因为之前解决multi-label问题都是用分类的方法，本文提供了一种新思路，用生成的方式解决该问题。觉得还是挺新颖的，记录一下。一：任务介绍Multi-label classification(MLC) is to assign multiple labels to each instance in the dataset就是针对数...
2018-10-23 21:07:26
660
原创 自动文本摘要(automatic text summarization)目前的研究方法分类
自动文本摘要通常可分为两类，分别是抽取式（extractive）和生成式（abstractive）。 （1）抽取式摘要判断原文本中重要的句子，抽取这些句子成为一篇摘要。 （2）生成式方法则应用先进的自然语言处理的算法，通过转述、同义替换、句子缩写等技术，生成更凝练简洁的摘要。比起抽取式，生成式更接近人进行摘要的过程。历史上，抽取式的效果通常优于生成式。伴随深度神经网络的兴起和研究，基于神经网络...
2018-08-22 12:11:38
7504
1
原创 Machine Learning中的基本概念
[1] 概率问题与统计问题 概率是已知模型和参数，推数据。 统计是已知数据，推模型和参数 [2] 分类与回归 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。 [3] 一元线性回归和多元线性回归 回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如...
2018-08-19 20:25:36
396
原创 [每日算法] 判断单链表是否有环
算法真的是人类智慧的结晶，所以想每天都看一道算法题锻炼下思维，解决方法不一定是自己想出来的，也可能是参考别人的想法，之所以转载到这里，是因为复习的时候很方便就找出来了。 【问题】 判断单向链表是否有环 【思路】 (1)设置一个Hashset，顺序读取链表中的节点，判断Hashset中是否有该节点的唯一标识（ID)。如果在Hashset中，说明有环；如果不在Hashset中，将节点的ID存入...
2018-08-19 10:23:07
581
原创 神经网络中涉及到的一些问题
RNN梯度消失和爆炸的原因： https://zhuanlan.zhihu.com/p/28687529 LSTM如何解决梯度消失问题： https://zhuanlan.zhihu.com/p/28749444
2018-08-09 16:15:07
389
1
原创 机器学习十大算法
最近在复习机器学习的一些算法，发现一些博客关于算法表达清楚， 逻辑清晰，讲解透彻，真的怕以后再混沌不开忘记想复习的时候找不到，所以特意放于此地，以便下次方便查询。我是看一个算法记录一下，所以博文应该是慢慢补全 SVM： https://zhuanlan.zhihu.com/p/24638007...
2018-08-09 11:20:34
423
原创 极大似然估计与极大后验估计
这两个概念一直说混混沌沌，在看决策树的时候出现了极大似然估计，于是趁此机会也彻底分清楚两个概念， 我们从根源开始说起：参考文献： https://www.cnblogs.com/sylvanas2012/p/5058065.html...
2018-08-03 23:14:09
602
原创 [机器学习算法]决策树
我的短板呀，慢慢积累慢慢攒，结合已有的知识，琢磨琢磨并总结给出自己的理解 类型：有监督学习 决策树目标：根据 training data 学习出一棵合理的决策树，使它能够对实例进行正确的分类， 测试样本通过这棵决策树得到分类结果 学习的步骤： 1. 特征选择, 就是决定用哪个特征来划分特征空间 2. 决策树的生成 3. 决策树的修剪。节点的分裂，一般当一个节点所代表的属性无法...
2018-08-02 19:30:20
484
原创 [每日算法] 兔子的繁殖问题（包含死亡）
解决问题思路最重要 问题： 有一对小兔子，从出生后第3个月起每个月都生一对兔子。小兔子长到第3个月后每个月又生一对兔子。按此规律，假设没有兔子死亡，第一个月有一对刚出生的小兔子，问第n个月有多少对兔子？ 思路： 这个月的兔子只有两个来源，一个来源是上个月的老兔子（个数是f(n-1)），另一个来源是这个月刚出生的兔子，而这个月刚出生的兔子，就是两个月前的所有兔子(两个月前的兔子个数是f(n-...
2018-07-31 16:33:59
4661
原创 NLP中各任务介绍
为了拓展自己看文章的领域，所以有些任务不太清楚，所以记录下，这样下次看到什么任务不清楚的，就可以查看了， 一．句子压缩（sentence compression） 1. 问题描述 句子压缩，顾名思义，就是把长句子压缩成短句子。输入：原始句 x=x1,x2,x3,...,xnx=x1,x2,x3,...,xnx = x{_1},x_{2},x_{3},...,x_{n} 目标输出：...
2018-07-13 11:19:02
1703
原创 大学的的NLP组
有已经总结好的清单了，但是我想把这些大学NLP的主页给出来，这样想follow的时候就特别方便．所以就特意做了这个： 一点点累计，一点点写吧． 加州大学-圣塔芭芭拉: http://nlp.cs.ucsb.edu/最全国内外自然语言处理（NLP）研究组清单: https://www.sohu.com/a/155362446_642762...
2018-07-12 17:57:40
1315
原创 pytorch查看网络中的参数
可以通过model.state_dict()或者model.named_parameters()函数查看现在的全部可训练参数（包括通过继承得到的父类中的参数） 可示例代码如下： params = list(model.named_parameters()) (name, param) = params[28] print(name) print(param.grad) print...
2018-07-11 14:40:11
25722
原创 decoding算法总结
依存树中的解码算法： 我想把每种算法的大概流程都记录下来，以及优缺点，暂时先放在这里 1. dynamic programming 2. maximum spanning tree 3. beam search算法
2018-07-10 14:51:35
1070
原创 dependency parsing的两种解决方案
Transition-based的依存解析方法 解析过程：首先设计一系列action, 其就是有方向带类型的边，接着从左向右依次解析句子中的每一个词，解析词的同时通过选择某一个action开始增量构建依存树, 直到句子中的词解析完． 优点：解析过程是线性的 挑战：在解析的每一步都只是利用局部信息，会导致错误传播，性能比graph-based效果略差 目前工作：Graph-bas...
2018-07-09 11:10:55
3900
1
原创 CNN的变体
从一篇文章中看到的，说这些都是CNN的变体，其中有看过的，有没有看过的．所以都放在这里，找个事件都浏览下，看下具体的内容． piecewise-CNN distant supervision for relation extraction via piecewise convolutional neural networkds[EMNLP2015] relation classificat...
2018-07-05 22:30:46
2865
转载 LaTex 空心字母
首先导入包： \usepackage{amsfonts,amssymb} 空心字母的手写方式：\mathbb{} 给出两个例子
2018-06-28 22:20:53
36017
1
原创 Ensemble Neural Relation Extraction with Adaptive Boosting
完全是因为adaptive Boosting吸引了我，慢慢积累慢慢成长（有点事，没有更完） AdaBoosting: 通过顺序的学习一些弱分类器，然后通过加权投票(weight voting)得到最后的预测，每一次迭代后，样本的权重都会更新 先给出paper中出现的符号意思： 接下来一一给出公式的解释： 公式(4) 是分类器对K个语料进行分类的错误率，公式(3)中的 j 是第j个b...
2018-06-13 15:17:59
615
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人