不良人大帅-CSDN博客

原创【深度学习】文章观看顺序

tensorflow安装前向传播与后向传播Embedding之word2vecgensim训练词向量word2vecEncoder&Decoder汉字和数字直接相互翻译BiLSTM介绍K.layers.Masking用法

2024-01-23 20:10:26 397 1

原创【深度学习】BERT(Bidirectional Encoder Representations from Transformers)

网友：为了解决pretraining 和 fine tuning 的 mismatch问题。微调：预训练模型基础上，添加全连接，softmax。

2024-02-07 09:26:29 452 1

原创【深度学习】transfomer之Add & Norm 和 Feed Forward

前馈网络（feed-forward network）是一种常见的神经网络结构，由一个或多个线性变换和非线性激活函数组成。它的输入是一个词向量，经过一系列线性变换和激活函数处理之后，输出另一个词向量。作用：使模型卷的更深，因为模型要重复N次，Add操作充分考虑了模型复杂度，抵抗模型深度所导致输入信号的衰减，作用：模仿神经元结构，内置两组Linear数据进行转换。作用：把分散的分布重新拉回到正常的分布区间之中。

2024-02-04 00:39:02 749 1

原创【深度学习】Transformer之Masked Multi-Head Attention

对应着上面的a和b。

2024-02-03 17:04:41 1578 1

原创【深度学习】transformer之Multi-head Attention

非线性变换的本质：改变空间上的位置坐标，任何一个点都可以在维度空间上找到，通过某个手段，让一个不合理的点（位置不合理），变得合理。机器学习的本质：在做一件事情，非线性变换（把一个看起来不合理的东西，通过某个手段（训练模型），让这个东西变得合理）多头的个数用h表示，一般h = 8, 我们常用使用的是8头自注意力.2、然后把Z0-Z7拼接起来，再做一次线性变换（改变维度）得到Z。1、对于X，我们将X分成了8块(8头)，得到Z0-Z7。

2024-02-03 12:49:38 232 1

原创【深度学习】transformer之self-attention

QK相乘求相似度，K里面哪一个对于Q来说是重要的，做一个Scale（作用：未来做softmax的时候避免出现极端情况），然后做softmax得到概率。新的向量表示了K和V(K==V), 然后这种表示还暗含了Q的信息(于Q而言，K里面最重要的信息)，挑出了K里面的关键点。Self-Attention 的关键点在于，不仅仅是K、V、Q来源于同一个X，这三者是同源的，通过X找到X里面的关键点。3、Scale+Softmax 进行缩放和softmax。1、Q、K、V的获取，是通过三个参数。

2024-01-30 13:31:49 420 1

原创【深度学习】transformer之 Positional Encoding

注意：与RNN相比，RNN是一个字一个字的输入，自然每个字的循序关系信息就会保留下来，在Encoder中，一句子的每一个字(词)是并行计算的(下一节解释)，所以我们在输入的时候需要提前引入位置信息。这样通过与位置编码(positional encoding)相加，则让输入向量x具有了位置信息。奇数的位置是cos, 偶数的位置是sin。i是维度下标，d是总维度。

2024-01-29 19:47:28 919

原创【深度学习】K.layers.Masking用法

K.layers.Masking 的操作主要用于处理可变长度序列数据，而这些序列中，可能存在填充值，这个操作的目的是在模型训练和处理序列数据时，将填充值部分屏蔽掉，已防止填充值对模型的影响。总体而言，K.layers.Masking 操作有助于处理序列数据中的填充值，使得模型能够更有效地学习和处理不同长度的序列。

2024-01-23 16:14:07 567 1

原创【深度学习】BiLSTM介绍

Bi由两个LSTM层组成，一个从前向后处理序列，一个从后向前处理序列，在处理序列时，每个时间步的输入会被分别传递给两个LSTM层，然后它们的输出会被合并。

2024-01-23 14:42:49 2160 1

原创【深度学习】前向传播与后向传播

i1与i2分别是两个输入，隐藏层有两个神经元节点h1与h2，偏置项b1与b2，输出层也有 2 个神经元节点o1与o2lh1w1×i1w2×i2b1lh2w3×i1w4×i2b1outh11e−lh11outh21e−lh21lo1w5×outh1w6×outh2b2lo2w7。

2024-01-17 21:57:24 916

原创【深度学习】【项目实战】【机器翻译】Encoder&Decoder汉字和数字直接相互翻译

例如：数据中全部数字的列表input_texts [‘1’…‘80000’], 那么它的最大长度是5。

2024-01-17 17:13:24 459

原创【深度学习】gensim训练词向量word2vec

!!注意我的环境中，使用pip安装gensim会更改numpy版本，导致tensorflow崩溃，我使用的是conda安装成功的。

2024-01-11 18:59:03 520

原创【深度学习】Embedding之word2vec

CBOW神经网络会接收上下文词语，将上下文词语转换为最有可能的目标词。skip-gram是用目标词来预测上下文。

2024-01-11 15:17:09 1235

原创【深度学习】tensorflow的安装

【代码】【深度学习】tensorflow的安装。

2024-01-10 20:15:12 679 1

原创 servlet与jsp综合-图书管理系统

servlet与jsp综合-图书管理系统，写的比较菜，提供一个思路吧。

2022-05-09 13:17:33 521 1

人工智能+encoder+decoder+项目实战+我的对应文章讲解+不懂的问我

内容概括： Seq2Seq 模型设计：您的项目主要包括了Seq2Seq模型的构建，其中包括编码器（Encoder）和解码器（Decoder）的建立，以及整个基本模型的组装。模型训练和推理：提供了训练模型的函数和加载预训练模型并进行推理的函数，使得用户可以进行模型的训练和应用。 Keras 库使用：项目使用了 TensorFlow 中的 Keras 库，通过 Keras 提供的高级 API 简化了模型的构建和训练过程。适用人群：深度学习从业者：适合具有一定深度学习基础的从业者，特别是对于序列到序列模型感兴趣的人。自然语言处理（NLP）爱好者：对于希望了解和应用自然语言处理技术，特别是机器翻译的爱好者。机器学习工程师：适用于希望构建自己的序列到序列模型或进行相关任务的机器学习工程师。适用环境： Python 开发环境：项目主要使用 Python 编写，适用于在 Python 开发环境中运行。您的代码中使用了 TensorFlow 和 Keras 库，因此用户需要安装相应的库和依赖项。深度学习环境：适用于具有深度学习框架（如 TensorFlow）

2024-01-17

深度学习项目实战机器翻译Encoder&Decoder汉字和数字直接相互翻译

2024-01-17

深度学习gensim训练词向量word2vec

人民日报语料

2024-01-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人