深度学习用于NLP(分词)中的论文及代码集锦

最新推荐文章于 2023-02-19 20:30:40 发布
VIP文章 最新推荐文章于 2023-02-19 20:30:40 发布
阅读量1k 收藏 5
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hestendelin/article/details/101546682
版权

[1] Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN-CRF

Yan Shao et al.

Uppsala University, University of Helsinki

IJCNLP 2017

http://www.aclweb.org/anthology/I17-1018

这篇论文提出一种基于字符的模型，用于中文分词和词性标注。该模型框架基于双向RNN-CRF，可以用于序列标注，这种模型可以捕捉丰富的上下文信息并且可以采集子词级别的特征。

网络结构如下

640?wx_fmt=png

加入上下文信息的词向量拼接示例如下

640?wx_fmt=png

该论文中还利用卷积神经网络对每个字提取拼写特征

640?wx_fmt=png

网络中的超参数如下

640?wx_fmt=png

数据集信息统计如下

640?wx_fmt=png

算法效果示例如下

640?wx_fmt=png

640?wx_fmt=png

跟其他模型对比结果如下

640?wx_fmt=png

耗时统计信息如下

640?wx_fmt=png

数据集分割示例如下

640?wx_fmt=png

单个模型跟集成模型结果对比如下

640?wx_fmt=png

代码地址

https://github.com/yanshao9798/tagger

              smiley_12.png我是分割线smiley_12.png

[2] Neural Word Segmentation Learning fo

最低0.47元/天 解锁文章
frank_hetest
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
NLP+词法系列（二）︱中文分词技术简述、深度学习分词实践（CIPS2016、超多案例）
素质云笔记
02-18 2万+
摘录自：CIPS2016 中文信息处理报告《第一章 词法和句法分析研究进展、现状及趋势》P4 CIPS2016 中文信息处理报告下载链接：http://cips-upload.bj.bcebos.com/cips2016.pdf 之前写过一篇中文分词总结，那么在那篇基础上，通过在CIPS2016的摘录进行一些拓展。可参考上篇：NLP+词法系列（一）︱中文分词技术小结、几大分...
深度学习NLP部分代码
08-02
深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习NLP部分代码深度学习N
中文地址分词
12-10
处理中文地址的分词和匹配 采用混合分词算法进行中文地址分词 在中文地址分词基础上采用Double Levenshetin算法进行中文地址相似度进行地址匹配
自然语言处理，深度学习 代码
11-14
围绕自然语言处理和时序数据处理，介绍中的重要技术，包括word2vec、RNN、LSTM、GRU、seq2seq 和Attention 等。语言平实，结合大量示意图和Python代码，按照“提出问题”“思考解决问题的新方法”“加以改善”的流程，基于解决自然语言处理相关的各种问题，使读者在此过程中更深入地理解中的重要技术。
NLP基于深度学习的自然语言处理综述.pdf
04-21
NLP基于深度学习的自然语言处理综述.pdf 相比传统的机器学习，深度学习试图模仿人的学习思路，通过计算机自动完成海量数据的特征提取，文中对近三年的相关文献进行了研究，首先从深度学习的基本概念进行说明，然后对深度学习应用于自然语言处理方面的研究进行阐述，最后对深度学习在NLP处理领域之后的发展方向与问题进行了阐述。
机器学习、深度学习、NLP面试常考点及代码实现.zip
08-15
机器学习、深度学习、NLP面试常考点及代码实现 ----- 毕业设计，课程设计，项目源码均经过助教老师测试，运行无误，欢迎下载交流 ----- 下载后请首先打开README.md文件（如有），某些链接可能需要魔法打开。 ----- 毕业设计，课程设计，项目源码均经过助教老师测试，运行无误，欢迎下载交流 ----- 下载后请首先打开README.md文件（如有），某些链接可能需要魔法打开。
【NLP相关】NLP领域经典论文汇总（附代码实现）
Chaos的博客
02-19 2838
随着chat-gpt的爆火，越来越多的小伙伴们对NLP这个领域开始感兴趣。NLP设计多个领域，文本分类、文本摘要、机器翻译、信息抽取等等，本文对NLP领域的相关文献进行了梳理，筛选出一些必读文献和其他领域的基础文献，方便入门的小伙伴们学习。
基于深度学习的NLP 32页最新进展综述，190篇参考文献
人工智能学家
12-04 2088
来源：专知摘要：深度学习使用多层学习层次的数据表示,并在许多领域得到了最优的结果。最近,各种各样的模型设计和方法在自然语言处理(NLP)蓬勃发展。在本文中,我们回顾了被广...
深度学习经典论文及开源代码
linghu8812的博客
03-14 5640
目录 综述 Deep Learning 图像分类 LeNet AlexNet ZFNet Inception系列 VGG ResNet DenseNet ResNeXt SENet EfficientNet 目标检测 RCNN OverFeat SPP Fast RCNN Faster RCNN R-FCN FPN SSD系列 YOLO系列 Reti...
词性标注学习笔记
zerozzl01的博客
09-17 1951
1 词性标注概述 1.1 简介 词性（Par-Of-Speech，Pos）是词汇基本的语法属性，通常也称为词类。词性标注就是在给定句子中判定每个词的语法范畴，确定其词性并加以标注的过程。 1.2 难点 1）汉语是一种缺乏词形态变化的语言，词的类别不能像印欧语那样，直接从词的形态变化上来判别。 2）常用词兼类现象严重，具有多个词性的兼类词的占比高达22.5%。而且越是常用的词，多词性的现象越严重。 3）词性划分标准不统一。词类划分粒度和标记符号等，目前还没有一个广泛认可的统一的标准。比如LDC标注
中文分词算法研究
Marshall的专栏
06-30 2922
分词算法有基于字典、基于规则和基于统计的，这里主要讲基于统计的方法。 中文分词基本算法主要分类                      中文分词算法总结 介绍分词语料——    中文分词入门之资源    互联网时代的社会语言学：基于SNS的文本数据挖掘 字标注问题 先看一个句子：我是一名程序员。将所有字分为4类，S表示单字，B表示词首，M表示词中，E表
一文讲解深度学习语言自然语言处理（NLP）.zip
最新发布
03-08
标题：深度学习之语言自然语言处理（NLP）：让机器读懂你的话 内容概要：本文为初学者提供了一份详尽的学习路线，涵盖了深度学习和自然语言处理（NLP）的基础知识、文本预处理技巧、词嵌入技术、深度学习模型、模型优化和训练技巧等。通过学习这些内容，读者将能够了解深度学习和NLP的实际应用，并掌握将所学知识应用于实际项目的方法。 适用人群：适用于对深度学习和NLP感兴趣的初学者，以及希望在这两个领域提升技能的专业人士。 使用场景及目标：本文旨在帮助读者在各种使用场景中，如情感分析、机器翻译、文本生成、语音识别等领域，运用深度学习和NLP技术解决问题，实现自然语言的理解和生成。通过学习本文，读者将能够独立开发深度学习和NLP项目，提取和生成有价值的信息。 其他说明：本文采用幽默、专业化的语言，将深度学习和NLP的复杂概念化解为易懂的故事，让读者在轻松愉快的氛围中学习。文章详细介绍了每一阶段的学习内容，并提供实践项目开发的建议，帮助读者将所学知识运用到实际项目中。此外，文中还强调了跟进最新研究和技术的重要性，鼓励读者在深度学习和NLP的世界中不断探索和进步。
Python 中文分词模块 JieBa
weixin_42170439的博客
09-06 932
Python第三方库jieba（中文分词）入门与进阶（官方文档） jieba “结巴”中文分词：做最好的 Python 中文分词组件 github:https://github.com/fxsjy/jieba 特点 支持三种分词模式： 精确模式，试图将句子最精确地切开，适合文本分析； 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义； ...
【人人都是深度学习师】PaddleHub2.0.4安装教程 报错“ImportError: libGL.so.1”和“ImportError: libgthread-2.0.so.0”【解决方案】
03-09 2770
采用500MB基础docker镜像：sudo docker run -itd registry.cn-hangzhou.aliyuncs.com/allen135681/easyml:ubuntu18.04-nvidia_cuda10.0-base-Miniconda3-py39_4.9.2 bash sudo docker run -itd registry.cn-hangzhou.aliyuncs.com/allen135681/easyml:ubuntu18.04-nvidia_cuda10...
深度学习（2）：中文分词（jieba）（Tensorflow）
牧子川的博客
02-20 1516
快速入门使用jieba分词
Leetcode 1078.Bigram 分词
bulangman277的博客
12-26 306
如果上面这句话没看懂，你看看下面的代码就很清晰了。
【NLP】HMM 词性标注&中文分词
maershii
01-04 5023
HMM中文分词是一种：字标注法。即将分词任务转化成对每个字进行标注标签问题。 任务介绍 对中文句子进行分词，比如： 原句： 我喜欢机器学习。 分词后： 我\喜欢\机器学习。 问题分析 对每个字赋予一个标签，‘B’代表非词尾，‘E’表示词尾。则上述例子应该被标记为： 标记后： 我E喜B欢E机B器B学B习E。 假设观测序列为O={O1,O2,...,ON}O = \{O_1, O_2, ......
深度学习将会变革NLP中的中文分词
读读书，敲敲代码，写写博客，思考思考人生。
08-10 2814
文转自ResysChina高翔，文章主要介绍了1）区分中文分词的方法；2）用深度学习的方法来解决中文分词的好处及其具体应用。 现有分词介绍 自然语言处理（NLP，Natural Language Processing）是一个信息时代最重要的技术之一，简单来讲，就是让计算机能够理解人类语言的一种技术。在其中，分词技术是一种比较基础的模块。对于英文等拉丁语系的语言而言，由于词之间有空格作为
开源项目kcws代码分析--基于深度学习的分词技术
热门推荐
乖兔子的专栏
12-01 1万+
分词原理本小节内容参考待字闺中的两篇博文： 97.5%准确率的深度学习中文分词（字嵌入+Bi-LSTM+CRF） 如何深度理解Koth的深度分词？ 简单的说，kcws的分词原理就是： 对语料进行处理，使用word2vec对语料的字进行嵌入，每个字特征为50维。 得到字嵌入后，用字嵌入特征喂给双向LSTM， 对输出的隐层加一个线性层，然后加一个CRF就得到本文实现的模型。 于最优化方法，文本语言模型类
学习自然语言处理这门课程需要做哪些准备？
08-03
学生可以通过阅读相关教材和论文，了解自然语言处理的基本任务和方法，如分词、词性标注、命名实体识别和文本分类等。同时，还需要了解相关的应用和挑战，如机器翻译、情感分析和问答系统等。 总之，学习自然语言...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值