论文阅读：Long Short-Term Memory Neural Networks for Chinese Word Segmentation【2015】

最新推荐文章于 2022-11-04 22:10:52 发布
最新推荐文章于 2022-11-04 22:10:52 发布
阅读量986 收藏 1
点赞数
分类专栏： 自然语言处理 论文阅读 文章标签： 中文分词 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SYSU_BOND/article/details/100643563
版权

意义：

  1. 首次使用LSTM用于中文分词【之前的方法大多基于局部上下文对标注进行预测，并未能很好使用长距离信息，详情看后续阐述】
  2. 调研了多种在LSTM中的dropout的应用 【现在去看感觉这篇文章工作意义不大】

 

Previous Methods

  1. 前馈神经网络分词：把上下文进行concate后，经由线性分类器标注

模型

  1. LSTM-1：使用单层LSTM
  2. LSTM-2：使用双层LSTM
  3. LSTM-3：单层LSTM，LSTM的输出层，concat一个上下文窗口预测该位置标注
  4. LSTM-4：双层LSTM，LSTM的输出层，concat一个上下文窗口预测该位置标注

PS：模型的输入仍是concate后一个窗口后的向量作为LSTM单步输入

 

Trick

  • 优化方法：max-margin

其基本思想是，只要正确分类，便不对模型参数进行更新，【避免某些过拟合的问题】

类似感知机的方法进行梯度更新：loss为错误标注个数 + subgradient【计算梯度方向】+ AdaGrad

  •  Dropout：对LSTM的输入进行Dropout

 

实验效果：

  • dropout rate的影响：0.2的效果较好【大了会underfit】

  • LSTM-1效果最好【有点反直觉】

PS：Context Length的含义为：（左边Context数，右边Context数）的二元组

  • 模型与其他结果对比：

SYSU_BOND
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Long short-term memory 论文小记
Nicoder的专栏
09-28 3256
这是Hochreiter（1997）的一篇老论文，我为了一睹lstm的原创遗风而读。本来想看看最朴素最正宗的lstm模型，结果却发现在本文中作者并未提出一种特有的模型。文章很长，并不打算翻译。下面是我的一些总结和见解，纯粹小菜鸟的个人观点，大家多多指正，非常欢迎~首先是这篇文章的动机。作为一篇长文，什么支撑着作者进行这么多的实验，以及这篇文章的重要性有多大，取决于动机。在这里，总结成一句话就是：Ol
LSTM（Long Short-Term Memory）是长短期记忆网络 一篇不错的文章
11-11
一篇不错的关于LSTM（是长短期记忆网络)的文章， 对于LSTM有一种不一样的理解
中文分词《Long Short-Term Memory Neural Networks for Chinese Word Segmentation》
Answer3664的博客
09-30 572
Motivation: 以往大多数中文分词的方法都是基于系列标注任务，这需要建立复杂的特征表示才能从句子中抽取单词。为了避免建立复杂的特征表示，最近的研究都是集中于用神经网络自行学习分词信息。然而在使用一般的RNN进行中文分词时，之前学到的记忆可能会被冲淡，因此本文引入LSTM解决长时间依赖问题。 实现功能: 在用神经网络进行中文分词时，输入的是一个句子，输出是每个字符对应的标签{B,...
（长短时记忆网络 vs. 长短时记忆单元）论文阅读：long short term memory networks for machine reading
简单博客All In
03-28 1885
本文介绍长短时记忆网络论文的动机、思想和方法。它代替LSTM中的记忆单元，换成了以attention机制实现的memory networks。
【论文阅读】Long short-term memory-Fully connected neural network for PM2.5concentration prediction
weiwanshu的专栏
03-19 983
Long short-term memory - Fully connected (LSTM-FC) neural network for PM2.5concentration prediction •The LSTM-FC neural network can give an accurate prediction of urban PM2.5contamination over the n...
Long Short-Term Memory.pdf
08-08
在神经网络领域，Long Short-Term Memory（LSTM）是一种特殊的循环神经网络（RNN）结构，由Sepp Hochreiter和Jürgen Schmidhuber于1997年提出，旨在解决传统RNN在处理长期依赖问题时面临的梯度消失和梯度爆炸等问题...
Traffic estimation based on long short-term memory neural network for mobile front-haul with XG-PON
01-26
A novel predictive dynamic bandwidth allocation (DBA) method based on the long short-term memory (LSTM) neural network is proposed for a 10-gigabit-capable passive optical network in mobile front-haul...
Deep Sentence Embedding Using Long Short-Term Memory Networks
03-02
(RNN) with Long Short-Term Memory (LSTM) cells. The proposed LSTM-RNN model sequentially takes each word in a sentence, extracts its information, and embeds it into a semantic vector. Due to its ...
[machine_learning_mastery系列]long-short-term-memory-networks-with-python.pdf
06-05
Long Short-Term Memory (LSTM) recurrent neural networks are one of the most interesting types of deep learning at the moment. They have been used to demonstrate world-class results in complex problem...
LSTM（Long Short-Term Memory）长短期记忆网络
01-24
LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。 LSTM 已经在科技领域有了多种应用。基于 LSTM 的系统可以学习翻译语言、控制...
Long Short-term Memory
09-18
Long short-term memory (LSTM) is a recurrent neural network (RNN) architecture that remembers values over arbitrary intervals. Stored values are not modified as learning proceeds. RNNs allow forward and backward connections between neurons. An LSTM is well-suited to classify, process and predict time series given time lags of unknown size and duration between important events. Relative insensitivity to gap length gives an advantage to LSTM over alternative RNNs, hidden Markov models and other sequence learning methods in numerous applications.
Long Short-Term Memory-Networks for Machine Reading
jnwujingchao的博客
05-25 440
https://zhuanlan.zhihu.com/p/26066050
LSTM为什么晦涩难懂？Long Short-term Memory 万字解析 论文精读 LSTM的提出
qq_45523675的博客
11-04 2403
说明：本文是自己阅读期间，发现论文中的公式复杂，于是写了这篇文章进行梳理，同时给出自己的总结方法。文中的非手绘图片均来自论文。注意：此篇文章提出的LSTM并不是现在所熟知的LSTM（现在是指2022年），现在的LSTM拥有Forget Gate，但是这篇文章并没有遗忘门，而带遗忘门的LSTM是出自，这篇文章发表自1999年，是对的改进。
【论文阅读】 输入法相关论文二 LONG SHORT TERM MEMORY NEURAL NETWORK
独钓寒江雪
06-03 739
文章的主要思想即采用 lstm 的网络架构进行手势识别的解码，loss 采用的是CTC loss。    滑动输入的特征，即LSTM的输入是什么？              Contain ： （x， y）  position,  time since last gesture and gesture type (move, up, down).   Features：
【Deep Learning】LSTM(Long Short-Term Memory)及变体
Lawe的博客
07-18 2925
通过对RNN理解的基础上(具体可见：【Deep Learning】循环神经网络推导和实现)，可以进一步了解LSTM（LongShort-Term Memory，其出现的原因是为了解决RNN对长依赖的句子上表现不好的情况。其本质是通过合理的激活一些信息，避免距离成为信息强度的决定性因素，目前LSTM除了原来的结构外，还衍生出了很多变体。 一、RNN与LSTM结构图         通过前一节我们
论文笔记：Long short-term memory network for traffic speed prediction using remote microwave sensor data
asszyq的博客
11-24 543
论文阅读：Long short-term memory network for traffic speed prediction using remote microwave sensor data 四个问题： 1. 要解决什么问题？ RNN具有短期依赖和梯度爆炸等问题，可以使用LSTM改善RNN并对交通速度进行预测。 2. 用了什么方法解决？ 3. 效果如何？ 4. 还存在什么问题？ 论文概述 2.1简介 最普遍的数据收集装置是RTMS。RTMS利用微波检测一段路程内的动态和静态的物体。 而RTMS的对
Introducing deep learning and long-short term memory networks
omnispace的博客
10-02 1737
Detecting anomalies in IoT time-series data by using deep learning Romeo Kienzler Published on May 16, 2017 FacebookTwitterLinked InGoogle+E-mail this page
长短期记忆网络 Long Short-Term Memory
北风吹过的秋
05-26 931
关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】 文章链接：https://mp.weixin.qq.com/s/XdV-1aIRFzAU8HXTH7M3Lw 前言 之前我们对RNN模型做了总结。由于RNN也有梯度消失的问题，因此很难处理长序列的数据，大牛们对RNN做了改进，得到了RNN的特例LSTM，它可以避免常规RNN的梯度消失，因此在工业界得到了广泛的应用。 RNN原理介绍：追根溯源：循环神经网络 《 Long short-term memory 》 ..
论文笔记：Long Short-Term Memory
热门推荐
想变有趣的EMMA
03-09 1万+
LongShort-Term Memory摘要通过recurrent BP方式来学着存储随时间间隔变化的信息会花费很长的时间。我们引进了新奇的，有效的，基于梯度的方法：LSTM（至少在1997年的时候这么评价还算公正）。 且能够解决一些标签比较长的分类任务。LSTM现在基本会被用在RNN模型中，代替RNN的隐层单元，能够起到很好的长时间记忆效果。现阶段（2017）GRU跟LSTM都是基于门的单元，但
long short-term memory pdf
最新发布
07-28
长短期记忆（long short-term memory）是一种用于建立和训练循环神经网络（Recurrent Neural Networks）的模型，也是一种用于处理序列数据的有效方法。长短期记忆是循环神经网络的一种变种，通过引入门控机制解决了...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值