神经网络
BeforeEasy
这个作者很懒,什么都没留下…
展开
-
【论文阅读】 Aspect Based Sentiment Analysis with Gated Convolutional Networks
Aspect Based Sentiment Analysis with Gated Convolutional NetworksAbstract把细粒度情感分析分为两种,ACSA(给定一系列aspect,判断句子对aspect的情感极性)和ATSA(对句子中出现的taget,判断句子对target的情感极性)。之前的方法大多数使用LSTM和attention,模型复杂训练时间长。文章提出一个...原创 2019-12-05 11:47:41 · 1071 阅读 · 0 评论 -
【论文阅读】Attention-based LSTM for Aspect-level Sentiment Classificatio
Attention-based LSTM for Aspect-level Sentiment Classificatio这是一篇还算经典的早期用LSTM+Attention解决细粒度情感分析的文章,2016 年发表在EMNLP 上。文章指出一个句子的情感类别是受不同aspect 的影响的,举例来说,在句子“The appetizers are ok, but the service issl...原创 2019-11-19 15:27:38 · 675 阅读 · 0 评论 -
tensorboard summary使用
假设想要输出loss随epoch的变化图:1、构建图过程中声明scalar变量在图中定义loss节点后,加一个loss_summary = tf.summry.scalar('loss',loss)当有多个要输出时,可以用merged_summary_op = tf.merge_all_summaries()汇总到一个节点,执行时执行这个节点,add这个节点就行2、构建完整个图...原创 2019-09-10 10:56:28 · 730 阅读 · 0 评论 -
激活函数
在神经网络中,上层的输出成为下层的输入之前,先经过一层激活函数,更符合自然界的神经网络特性,过小的刺激就不用在继续传播下去了;而且,若不用激活函数,无论神经网络有多少层,输出都是输入的线性组合,引入非线性函数作为激活函数,可以使得学习能力更强sigmoid非常常用的激活函数函数图形为S型将输入压缩到0-1范围内不过由于其导数的特性,容易导致梯度爆炸或消失,尤其是梯度消失tanh...原创 2019-04-14 00:05:40 · 556 阅读 · 0 评论 -
Neural Machine Translation by Jointly Learning to Align and Translate 的模型主要部分实现 TensorFlow
参考github: https://github.com/graykode/nlp-tutorial?tdsourcetag=s_pctim_aiomsg中的seq2seq attention部分就是读懂了他的代码又自己写了一遍原理整个的神经网络翻译的结构是seq2seq ,原句从encode部分进入,每一步都会输出一个状态hj,结合每一步的hj可以得到一个综合输入信息的山下文向量conte...原创 2019-02-17 20:24:46 · 297 阅读 · 0 评论 -
生成式对抗网络 GAN
看了几篇博文,简单记录一下GAN网络(generative adversarial nets 生成式对抗网络)定义GAN网络起源于博弈理论,博弈的双方分别是生成式模型(G)和判别式模型(D)生成式模型的输入是一组服从某一分布的噪声,生成一个类似真实训练数据的样本;判别式模型的输入就是生成式模型的输出,判别式模型的目的是判断这个生成的样本是不是来自于训练数据(概率);有点类似于G...原创 2018-12-23 22:04:47 · 386 阅读 · 0 评论 -
LSTM & GRU
basic RNN:LSTM long-term short-term memory LSTM的提出主要是为了解决传统RNN在长序列时会发生的梯度消失或者梯度爆炸的问题,在LSTM中,状态的更新是累加的方式,而不是累乘主要有三个门:forget input和output,来调节应该记住多少,忘掉多少,到下一步输出多少最上方的贯穿整个的横线表示细胞状态(核心),输入时是c...原创 2018-12-16 21:46:19 · 175 阅读 · 0 评论 -
RNN 梯度消失和梯度爆炸
为什么会梯度爆炸或梯度消失:梯度爆炸指的是在训练时,累计了很大的误差导数,导致神经网络模型大幅更新。这样模型会变得很不稳定,不能从训练数据中很好的进行学习。极端情况下会得到nan.会发生这个的原因是在神经网络层间不断的以指数级在乘以导数。补充:雅克比矩阵 -- 函数的一阶偏导数以一定方式排列成的矩阵,举个例子:可以看到,除对角线元素外,其他元素都是0.而对角线上的元素值就是对应的y...原创 2018-12-16 16:08:35 · 2111 阅读 · 0 评论 -
机器学习中的正则化(Regularization)
参考知乎回答:https://www.zhihu.com/question/20924039以及博客https://blog.csdn.net/jinping_shi/article/details/52433975定义&用途经常能在LOSS函数的后面看到额外加了一项,这一项就是用来正则化的,为了限制损失函数中一些参数正则化是用来干什么的呢?--是用来防止过拟合的...原创 2018-12-15 15:04:15 · 1081 阅读 · 0 评论 -
一篇读完 Python神经网络编程 make your own neuralnetwork
Python 神经网络编程 make your own neural network非常适合入门神经网络编程的一本书,主要是三部分: 介绍神经网络的基本原理和知识;用Python写一个神经网络训练识别手写数字;对识别手写数字的程序的一些优化。 神经网络如何工作神经网络的大的概括就是:给定输入,经过一些处理,得到输出。当不知道具体的运算处理方式时,尝试使用模型来估计其运作方式,...原创 2018-11-10 20:14:54 · 954 阅读 · 2 评论 -
【论文阅读】 Sequential Matching Network
Sequential Matching Network: A new Architecture for multi-turn response selection in retrieval-based Chatbots 文章主要提出了一种模型(SMN),用检索的方式处理多轮对话系统多轮对话,类似于Q,A,Q,A,Q...QF: --> A 这种,有上下文,然后给出最后那个问题(...原创 2018-07-24 19:26:07 · 1443 阅读 · 0 评论 -
【论文】on the properties of neural machine translation :Encoder-decoder approaches 阅读笔记
2014年的文章,神经机器翻译相对SMT统计机器翻译而言是比较新的方法,包含一个encoder一个decoder,encoder将变长的输入序列转化为定长的表示方式,然后decoder再将其转化为正确的翻译。这篇文章是想用两种模型分析神经机器翻译的特性:RNN encoder-deocoder模型和门递归卷积神经网络(grCnov)。总的发现是,神经机器翻译在没有生词的短句翻译上表现良好,...原创 2018-05-16 14:31:07 · 2803 阅读 · 0 评论 -
【论文】Sequence to sequence learning with neural netwoks
摘要:Deep Neural Network(DNN) 不太适合处理序列到序列的问题,这篇论文提出了一种端到端的方式处理序列到序列的问题。使用一个多层LSTM将输入转化为固定维度的向量,然后用另一个LSTM将目标向量decode成目标序列。这种方法对于长一些的序列也适用。将源输入语句的顺序倒叙输入模型中,可以更好的提高效果,比如原句是A B C 按照C B A的顺序的话,由于距离target更近,...原创 2018-05-15 16:52:30 · 461 阅读 · 1 评论 -
【论文阅读】Neural Machine Translation by Jointly Learning to Align and Translate
摘要:Neural machine translation 是用encoder 将源输入编码成固定长度的向量,然后再用decoder解码成目标语言。但是使用固定长度是受限制的,本文就是要提出一种新的机制,让decode的时候可以比较动态的search 源输入。其实也就是attention机制introduction:常用的encoder-decoder模式在编码成固定长度的向量时,可能会失去一些有...原创 2018-05-19 20:59:53 · 491 阅读 · 0 评论 -
【论文阅读】Get to the point :summarization with pointer-generator networks
摘要:本文在原来的神经seq2seq模型上进行了两种改变,用混合的pointer-generator网络,既可以通过pointing直接从原文中copy单词又保留了通过generator生成新词的能力;另外,用coverage来记录已经总结出的内容,防止重复。1 Introduction生成摘要一般有两种方式,extractive和abstractive,前者是直接从原文中获...原创 2018-05-18 23:27:28 · 5241 阅读 · 12 评论 -
【论文阅读】Incorporating copying mechanisim in sequence-to-sequence learning
本文提出了一种机制,将拷贝的方式结合seq2seq模型,能比较好的处理OOV问题,可以将部分实体直接复制到输出中。原创 2018-05-18 01:00:14 · 403 阅读 · 0 评论 -
【论文】A neural attention model for abstractive sentence summarization 阅读笔记
摘要:这是关注生成式摘要的问题。一般的方法是删除、改写、泛化、重新排序等方式来生成摘要。过去自动生成摘要的方法主要是语言激励限制(linguistically-inspired constraints)和输入文本的句法变换(syntactic transformations of the input text),而本文则是数据驱动的(data-driven)、将神经系统与编码器结合起来的模型。,其...原创 2018-05-17 00:57:07 · 1141 阅读 · 0 评论