NLP学习笔记（8）

最新推荐文章于 2024-09-22 22:53:38 发布
最新推荐文章于 2024-09-22 22:53:38 发布
阅读量186 收藏
点赞数
分类专栏： NLP 文章标签： nlp 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44326452/article/details/105559056
版权

这节课的内容看得太快而且有点难，所以这里只是做一下记录，并不详细，作为一个内容的索引，事后需要自己取搜论文了解细节

这是一个想改进tree LSTM的模型
在这里插入图片描述

有人用基于字符的模型，也有人用基于单词的模型，还有人用两者混合模型。基于字符的模型总的来说效果没有基于单词好而且比较慢。基于字符的模型有很多理论，很多方法。有基于字母三元组的模型，有基于字符的LSTM，也有对字符进行字节编码的模型等等。基于字符还是基于单词是一个非常复杂的问题，各有利弊，基于字符总的来说会让你的算法能够更全面地考虑NLP问题，但是总的来说会比较慢而且性能不好，但是基于单词就存在很多问题比如一些没有单词间隔的语言，或者没有单词这个概念的语言（中文），或是训练中没有见过的单词，或是人名等等（有一些基于单词的方法考虑用复制的方法来解决这些问题）。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

最下面是一个对字符的LSTM，当你遇到词汇表里面没有的单词时就先用这个来生成这个单词的embedding，最上面也是对字符的LSTM，当你生成一个<unk>标记时，把隐状态送进这个LSTM来产生一个单词
在这里插入图片描述

ssf-yasuo
关注
专栏目录
【2015】CWE:字符嵌入和词嵌入的联合学习（Joint Learning of Character and Word Embeddings）
qq_36291847的博客
04-11 1792
这里写目录标题一级目录二级目录三级目录 一级目录 二级目录 三级目录 大多数的词嵌入方法都是以词为基本单位，根据词的外部语境来学习词的嵌入，忽略了词的内部结构。然而，在一些语言中，如汉语，一个词通常是由几个汉字组成的，包含了丰富的内部信息。一个词的语义也与它的组成字的意义有关。因此，我们以中文为例，提出了一种字符增强的词嵌入模型。为了解决汉字歧义和非组成词的问题，我们提出了多原型字符嵌入和一种有效的选词方法。我们评估了CWE在词语相关度计算和类比推理方面的有效性。结果表明，CWE优于其他忽略内部字符信息的基
基于字符的NLP
earofreceiver的博客
03-07 449
背景 以往基于单词的NLP，一般是为要处理的词建立词向量空间，然后再对词向量进行NLP。这个处理会带来两个方面的问题是： 对于出现频率比较低的词，建立的词向量有可能不准确 无法处理不在单词表中的单词。比如网络上经常会出现一些新词，比如不明觉厉之类，英文的社交网络，还会出现比如loooooooooooooook之类的词。 有些语言还会有合成词。比如德语就会有大量的合成词，如Lebensversic...
NLP自然语言处理学习笔记
qq_41386947的博客
11-07 806
这是一份自然语言处理学习与实践的笔记，作者刚开始是具备基础的编程能力、了解机器学习的基本概念、但是没有NLP领域的实践经历的小白。目的是理解NLP的逻辑和原理，掌握文本分类/情感分析及相关的实践能力，能运用在实际问题的解决中。
NLP学习笔记2-简介
08-22 421
自然语言处理（NLP）是使计算机能够理解和生成人类语言的关键技术，它结合了语言学、计算机科学和人工智能的知识与方法。通过 NLP，我们可以构建各种智能系统，从简单的文本分类到复杂的对话系统和机器翻译。随着技术的发展，NLP 的应用范围不断扩大，正逐步改变我们与技术互动的方式。自然语言处理（NLP，Natural Language Processing）是人工智能和计算机科学的一个重要分支，旨在使计算机能够理解、生成和处理人类语言。
【NLP自然语言处理学习笔记05attention】
CrazyDog_JJ的博客
07-05 196
在start第一个词的时候就考虑了分布情况，并且每次都会考虑权重的情况。W(Q)、W(K)、W(V)是学习得到的参数。
NLP学习笔记
m0_72410588的博客
05-04 166
自然语言处理（Natural Language Processing，NLP）是通过计算机技术来处理人类语言的一门技术。其目标是让计算机能够读懂、理解、甚至产生自然语言。
自然语言处理（NLP）学习笔记——RNN模型
qq837993702的博客
10-05 9707
了解什么是RNN模型. 了解RNN模型的作用. 了解RNN模型的分类.
NLP学习笔记三-数据处理基础
weixin_43327597的博客
06-08 903
count word frequencies其实顾名思义，就是统计词频，这一步其实是在Tokenization的基础上进行的，首先我们需要先对文本进行Tokenization操作，然后，统计有多少种词语，再统计这些词语分别的个数。[to ，be]->[2,4]，将单词因此其对应的索引值，为什么这里可以不用将单词映射成向量，因为在这里我们。NLP当中的Tokenization，博主以前无论是在文章中还是在代码中都能经常看到，这在自然语言处理中也是比较常用的技术。统计词频可以用于保留常用词去掉低频词。
中文自然语言处理学习笔记（一）——NLP环境配置
weixin_68955195的博客
03-11 2744
中文自然语言处理--大学生l~l~long的自学笔记
NLP学习路线（其实就是个汇集了所有经典模型的自然语言处理学习笔记）
qq_52670137的博客
11-15 1354
这是我整理的关于NLP较为详细的一个学习路线笔记，从词向量word embedding开始，rnn、lstm、seq2seq（attention）、transformer，直到bert结束。每个模型都将相关挑选的合适资料找出，便于整体学习。
自然语言处理学习笔记nlp-tutorial
01-27
自然语言处理（Natural Language Processing，NLP）是计算机科学、人工智能和语言学领域的一个交叉学科，主要研究如何让计算机能够理解、处理、生成和模拟人类语言的能力，从而实现与人类进行自然对话的能力。...
Pytorch、NLP学习笔记
03-01
《PyTorch与自然语言处理学习笔记》 PyTorch是一个强大的深度学习框架，由Facebook的AI研究团队开发，以其灵活性和易用性受到了广大研究人员和开发者们的喜爱。本笔记将深入探讨PyTorch在自然语言处理（NLP）领域的...
属于一枚普通学生的NLP学习笔记
05-07
### 自然语言处理（NLP）中的神经网络语言模型（NNLM） #### 一、神经网络语言模型（NNLM）的起源与核心思想 在自然语言处理领域中，神经网络语言模型（Neural Network Language Model, NNLM）是研究的核心之一。...
斯坦福CS224n_自然语言处理与深度学习 笔记
09-28
《斯坦福CS224n：自然语言处理与深度学习》是斯坦福大学开设的一门高级计算机科学课程，专注于自然语言处理（NLP）领域的深度学习技术。这门课程涵盖了广泛的NLP主题，从基础的文本预处理到复杂的深度学习模型，如...
深度学习速通系列：什么是文本数据标注
Ven%的博客
09-22 370
标注过程中可能需要使用多种工具和方法，完成后还需进行质量检查和验收，最终将数据转换为适合模型使用的格式并进行交付。整个过程需要细致的态度和严谨的流程，以确保数据的质量和模型的性能。文本数据标注是机器学习和人工智能领域中的一个重要环节，它涉及将文本中的信息进行分类、识别和标记，以便机器学习模型能够更好地理解和处理这些数据。标注后的数据通常用于训练机器学习模型，如自然语言处理（NLP）模型，以提高模型在文本分类、情感分析、问答系统等任务上的性能。
深度学习02-pytorch-03-张量的数值计算
weixin_41645791的博客
09-19 476
张量是多维数组的泛化，广泛应用于深度学习和数值计算。通过基本的算术操作、线性代数运算、维度操作等，我们可以高效地处理大规模数据。同时，PyTorch 还支持自动微分和 GPU 加速，这使得它在深度学习领域非常流行。
cnn机器学习时python版本不兼容报错
最新发布
所念皆星河
09-22 93
A module that was compiled using NumPy 1.x cannot be run in NumPy 2.1.1 as it may crash. To support both 1.x and 2.x versions of NumPy, modules must be compiled with NumPy 2.0. Some module may need to rebuild instead e.g. with 'pybind11>=2.12'.
《深度学习》卷积神经网络CNN 原理及其流程解析
wx_AHao1004Y的博客
09-22 772
卷积核也称为滤波器或特征检测器，在CNN中，卷积核是一个小的矩阵或张量，它通过与输入的图像进行卷积操作来提取图像中的特征。卷积操作可以看作是将卷积核与输入数据的某一部分进行点积运算，然后将结果相加得到一个输出值。卷积核的大小通常是正方形的，并且由多个通道组成，其中每个通道对应一个特征。例如，可以有一个大小为3x3x3的卷积核，其中3x3表示卷积核的空间大小，3表示输入图像的通道数。
【深度学习】（4）--卷积神经网络
m0_74896766的博客
09-22 863
本篇介绍了卷积神经网络的结构以及它的优点： 1. 卷积神经网络能够将变换的物体识别出来。 2. 卷积神经网络的结构：由输入层、卷积层、激活层、池化层、全连接层、输出层组成。 3. 什么是感受野。
自然语言处理5000学习笔记
05-13
很高兴看到你对自然语言处理感兴趣！以下是一些可能有用的学习笔记： 1. 自然语言处理是一门交叉学科，涉及语言学、计算机科学、统计学、数学等多个学科。...希望这些笔记能对你的自然语言处理学习有所帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值