自然语言处理
文章平均质量分 68
爽歪歪和哇哈哈哈
研究生在读 程序媛 IT女
如果文章有错请指正,让我们一起学习,天天向上,一起进步!
如果对你有帮助,还请点赞收藏哦~
展开
-
Self-Attention-自注意机制
通过self-attention自注意,RNN 不太容易忘记且容易关注相关信息。simple-RNN新的状态h。有介绍,这里便不累赘了)两者不一样的地方在于h。(相关性计算在上一篇。原创 2023-02-06 22:24:52 · 398 阅读 · 0 评论 -
Attention-自注意机制
Attention 可以大幅提升seq2seq的遗忘问题。有了Attention,Seq2Seq 模型不会忘记源输入,且decoder解码器就知道该把注意力集中在哪里。所以attention解决了遗忘问题,提高了准确率,但是代价就是计算量的提高。第一种方法:(V T 矩阵 都是训练的参数)解码器到状态t时,我们一共计算了mt个权重。知道输入x1-xm的完整信息,解决遗忘问题。和当前状态s0的相关性,记为权重a。, 所有的a加起来等于1.缺点: 计算量大得多。,我们计算权重: a。原创 2023-02-06 21:19:22 · 465 阅读 · 0 评论 -
Sequence-to-Sequence Model (Seq2Seq)
数据处理:大小写,拼写错误等(数据预处理)->tokenization(它可以是char-level也可以是word-level的 )->建立两个字典(一个英语一个德语的,因为每种语言使用的字母个数或者词语构造不一样)一个编码器encoder,一个解码器decoder。decoder的初始状态是encoder的最终输出。encoder的最终输出是最后的状态h和传输带c。用Seq2Seq实现机器翻译:多对多问题。decoder的输出是每个字符的概率值。如下图,当前的标签是‘m’每一轮的状态h,c都会更新。原创 2023-02-06 14:07:33 · 545 阅读 · 0 评论 -
Long Short Term Memory (LSTM)
一定要看懂这句话,理解,因为下面其他参数矩阵的计算也是类似的,只不过输入不一样!原创 2023-02-06 13:40:06 · 605 阅读 · 0 评论 -
Simple RNN Model
我们知道全连接网络FC Nets 和卷积神经网络ConvNets都是属于one to one 模型。比如给定一个输入如一张图片,我们输出他是猫还是狗。但是对于输入输出长度不一致的时序型数据sequential data(比如文本翻译)等就不适用。先讲一下模型。原创 2023-02-06 01:03:55 · 187 阅读 · 0 评论 -
文本处理和词嵌入-Text Processing and Word Embedding
接上一遍博客首先我们先来了解一下,IMDB电影评论数据集The IMDB Movie Review Dataset。里面有5万电影评论(文字),每篇评论都有“正面”或“负面”的标签,这是一个二进制分类问题。可以划分为25k的训练集和25k的测试集。••这个就有点像国内的豆瓣评分一样。我们人很容易通过电影评论知道电影的评分或者好坏,我们想让机器学习也能做到,应该怎么做呢?原创 2023-02-06 00:04:02 · 629 阅读 · 1 评论 -
自然语言入门NLP-数据处理基础知识
如果需要,将每个index转换为 one-hot vector.one-hot的dim长度为单词的词数。拿上述这张表举例:年龄是数值特征numberic features没问题(35>31 ok ),性别是二元特征binary feature,可以用1代表男人,0代表女人。【写在前面:以下所讲都基于你对机器学习有一定的基础知识,至少应该知道什么激活函数,反向更新,梯度下降,全连接层等等基本术语,不懂的可以先去补一下。将每个单词映射到索引。我们使用199-dim 数值向量表示人的特征(年龄、性别、国籍)。原创 2023-02-05 22:46:56 · 488 阅读 · 0 评论