![](https://img-blog.csdnimg.cn/20190927151132530.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
NLP
文章平均质量分 72
自然语言处理专栏
梦码城
以梦为码,不负韶华
展开
-
Transformer学习
Transformer学习需要训练的矩阵Q:Query,要去查询的单词矩阵K:Key,等着被查的单词矩阵V:Value,实际的特征信息self-Attention整体计算流程每个词的Q会跟每个其他词的K计算得分Score将Score用Softmax后得到整体加权结果(Softmax之后的比例乘上该词的V,最终的结果是所有词的加权结果之和【z1=0.88v1+0.12v2】)此时每个词看的不只是它前面的序列而是整个输入序列同一时间计算出所有词的表示结果multi-header机制(原创 2021-05-19 19:33:30 · 92 阅读 · 0 评论 -
基于LSTM与Shakespeare数据集的字符预测任务
基于LSTM与Shakespeare数据集的字符预测任务原创 2022-06-02 17:47:37 · 656 阅读 · 0 评论 -
Graph Convolutional Networks
1. 摘要我们介绍了一种在图结构数据上可扩展的半监督学习方法,该方法是基于一种高效的有向图卷积神经网络变体。我们通过谱图卷积局部一阶近似来激励我们的卷积架构的选择。我们的模型在图边的数量上线性缩放,并且学习隐藏层对局部图结构和节点特征进行编码的表示。在大量的基于引用网络与知识图谱数据集上的实验中我们证明我们的方法表现比起相关方法具有很大的优势。2. 相关符号表示KaTeX parse error: Undefined control sequence: \cal at position 4: {{原创 2022-04-30 20:23:12 · 724 阅读 · 0 评论 -
概率论与数理统计基础
本文目录1. 古典概率2. 条件概率3. 贝叶斯公式4. 概率的估计方法5. 随机变量6. 离散分布6.1 两点分布6.2 二项分布6.3 泊松分布7. 连续分布7.1 均匀分布7.2 指数分布7.3 正太分布8. 数字特征1. 古典概率在概率的定量计算上,频率学派依赖的基础是古典概率模型。在古典概率模型中,试验的结果只包含有限个基本事件,且每个基本事件发生的可能性相同。假设所有基本事件的数目为 n,待观察的随机事件 A 中包含的基本事件数目为 k,则古典概率模型下事件概率的计算公式为:P(A)=kn原创 2022-04-29 16:41:28 · 515 阅读 · 0 评论 -
线性代数基础
本文目录1. 线性代数的意义2. 基本概念3. Pytorch中的运算3.1 标量3.2 向量3.3 长度、维度和形状3.4 矩阵3.5 张量3.6 降维3.7 点积3.8 矩阵-矩阵乘法3.9 范数1. 线性代数的意义线性代数提供了⼀种看待世界的抽象视角:万事万物都可以被抽象成某些特征的组合,并在由预置规则定义的框架之下以静态和动态的方式加以观察。是现代数学和以现代数学作为主要分析方法的众多学科的基础。从量子力学到图像处理都离不开向量和矩阵的使用。线性代数是用虚拟数字世界表示真实物理世界的工具。原创 2022-04-29 15:52:38 · 1468 阅读 · 0 评论