- 博客(3)
- 收藏
- 关注
RSS订阅原创 自然语言处理Transformer
Transformer与RNN不同，可以比较好地并行训练。Transformer本身是不能利用单词的顺序信息的，因此需要在输入中添加位置Embedding，否则 Transformer就是一个词袋模型了。Transformer的重点是Self-Attention 结构，其中用到的QKVQ, K, VQKV矩阵通过输出进行线性变换得到。
2024-06-24 02:02:46
1032
原创 自然语言处理机器翻译
目录一、实验原理1.1 编码器—解码器（seq2seq）1.1.1 编码器1.1.2 解码器1.1.3 训练模型1.2 束搜索1.2.1 贪婪搜索1.2.2 穷举搜索1.2.3 束搜索1.3 注意力机制1.3.1 计算背景变量1.3.1.1 矢量化计算1.3.2 更新隐藏状态1.3.3 发展二、实验步骤2.1 读取和预处理数据2.2 含注意力机制的编码器—解码器2.2.1 编码器2.2.2 注意力机制2.2.3 含注意力机制的解码器2.3 训练模型2.4 预测不定长的序列2.5 评价翻译结果三、实验总结四、
2024-06-23 12:01:45
957
原创 自然语言处理前馈网络
感知器是现存最简单的神经网络。感知器的一个历史性的缺点是它不能学习数据中存在的一些非常重要的模式。例如，查看图4-1中绘制的数据点。这相当于非此即彼(XOR)的情况，在这种情况下，决策边界不能是一条直线(也称为线性可分)。在这个例子中，感知器失败了。图4-1 XOR数据集中的两个类绘制为圆形和星形。请注意，没有任何一行可以分隔这两个类。在本次实验中，我们将探索传统上称为前馈网络的神经网络模型，以及两种前馈神经网络:多层感知器和卷积神经网络。
2024-06-13 21:25:36
773
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人