qq_39763246的博客

本文将对 Scaled Dot-Product Attention，Multi-head attention，Self-attention，Transformer等概念做一个简要介绍和区分。最后对通用的 Multi-head attention 进行代码实现和应用。 一、概念： 1. Scaled Dot-Product Attention 在实际应用中，经常会用到 Attention 机制，其中最...

首先注意力模型可以宏观上理解为一个查询（query）到一系列（键key-值value）对的映射。将Source（源）中的构成元素想象成是由一系列的<Key,Value>数据对构成，此时给定Target（目标）中的某个元素Query（查询），通过计算Query和各个Key的相似性或者相关性，得到每个Key对应Value的权重系数，通过softmax归一化后，对权重和相应Value进行加权求和，即得到了最终的Attention数值。所以本质上Attention机制是对Source中元素的Valu.

修改论文模型时需要对DBpedia进行实体链接，官方的DBpedia Spotlight就非常好用，特此记录。 Docker由于DBpedia Spotlight需要部署到服务器中，官方Github使用的是Docker，这里我们需要先下载。（注意不支持MacBook M1）一直点默认安装即可，不过安装完成后可能碰到WLS2不一致的问题，官方也给出了解决方法。按照里面说的去下载Ubuntu就行。在成功安装完Docker后，选择Images(镜像)，可以从里面找到ubuntu。&n.

一、问题背景   最近研究了seq2seq模型的相关优化算法，包括有其中的Attention、dropout、Scheduled Sampling和Teacher Forcing等优化、训练模型的方法。以下是传统seq2seq模型结构，没有进行任何优化，该模型分为两部分：编码器和解码器。 编码器读取输入文本，并返回代表该输入的向量。...

MacBook的Word使用Zotero进行文献管理时出现错误，如下图：解决方法：去系统偏好里把Word的默认语言设置为英文。这个问题估计就是个BUG，我也向官方反应了，不知道什么时候能修复好。

geometric以及torch_cluster、torch_scatter、torch_sparse、torch_spline进去之后需要选择对应的torch版本和cuda版本，然后才是各种包的下载链接。

torch- torchvision- python版本对应关系CUDA Toolkit 和Pytorch的对应关系说明：用anaconda安装torch。新建虚拟环境后，直接在pytorch官网官网链接找到“Install”按钮。这里一键搞定torch，torchvision，cudatoolkit等等，不需要另外安装cuda（笔者在没有单独安装CUDA情况下，成功运行了torch-gpu，很丝滑），并且版本都会自己对于对应好，原因是anaconda都集成在虚拟环境里面了，统一管理各个依赖包。

避免每次都忘记，特此记录。创建、激活、删除创建基于python3.6 名为env_name的环境conda create --name env_name python=3.6激活(使用)环境activate env_name激活后安装各种包(pip是安装在整个计算机里，conda是安装当前虚拟环境里)conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch删除环境conda remove -n.

本博客是基于吴恩达老师深度学习视频所做的笔记，没有任何代码也无需强大的数学基础，主要是对一些概念的理解。如有错误欢迎指出~文章目录循环神经网络RNN序列模型数学符号循环神经网络前向传播反向传播不同类型的循环神经网络多对多多对一一对一一对多语言模型和序列生成新序列采样RNN的梯度消失GRU单元长短期记忆LSTM双向循环神经网络深层循环神经网络 循环神经网络RNN序列模型输入一段音频片段X，输出对应片段的文字记录Y。此时X和Y都是序列数据，因为X是按时序播放的片段，而Y是一系列单词。.

我周围的人几乎都认为二分查找很简单，但事实真的如此吗？二分查找真的很简单吗？并不简单。看看 Knuth 大佬（发明 KMP 算法的那位）怎么说的：Although the basic idea of binary search is comparatively straightforward, the details can be surprisingly tricky…这句话可以这样理解：思路很简单，细节是魔鬼。本文就来探究几个最常用的二分查找场景：寻找一个数、寻找左侧边界、寻找右侧边界。而且

文章目录系列文章隐马尔科夫模型 HMM1 马尔科夫链1.1 简介1.2 经典举例2 HMM简介2.1 简单案例2.2 案例进阶问题二解决问题一解决问题三解决3 HMM模型基础3.1 什么样的问题需要HMM模型3.2 HMM模型的定义4 前向后向算法评估观察序列概率4.1 回顾问题一：求观测序列的概率4.2 ⽤前向算法求HMM观测序列的概率4.3 ⽤后向算法求HMM观测序列的概率5 维特⽐算法解码隐藏状态序列5.1 HMM最可能隐藏状态序列求解概述5.2 维特比算法概述6 鲍姆-韦尔奇算法简介7 HMM模型A

文章目录系列文章EM算法1 初识EM算法2 EM算法介绍2.1 最大似然估计2.2 EM算法实例描述2.3 EM算法流程3 EM算法实例3.1 一个简单案例3.2 加入隐变量z后的求解3.3 EM初级版3.4 EM进阶版系列文章机器学习算法 01 —— K-近邻算法(数据集划分、归一化、标准化)机器学习算法 02 —— 线性回归算法(正规方程、梯度下降、模型保存)机器学习算法 03 —— 逻辑回归算法(精确率和召回率、ROC曲线和AUC指标、过采样和欠采样)机器学习算法 04 —— 决策树(ID

文章目录系列文章支持向量机SVM算法1 SVM算法简介1.1 引入1.2 算法定义2 SVM算法原理2.1 线性可分支持向量机2.2 SVM计算过程与算法步骤(有点难，我也没理解透，建议跳过)推导目标函数目标函数求解拉格朗日乘数法对偶问题整体流程确定3 SVM的损失函数4 SVM的核方法4.1 什么是核函数4.2 常见核函数5 SVM回归6 SVM算法API介绍6.1 SVM算法API综述6.2 SVC6.3 NuSVC6.4 LinearSVC7 案例：数字识别器7.1 案例背景介绍7.2 数据介绍7.3

文章目录系列文章朴素贝叶斯1 什么朴素贝叶斯分类2 概率复习2.1 朴素贝叶斯2.2 文章分类举例2.3 拉普拉斯平滑系数3 案例：商品评论情感分析4 朴素贝叶斯算法总结4.1 优缺点4.2 内容汇总朴素贝叶斯(NB)原理朴素⻉叶斯朴素在哪⾥？为什么引⼊条件独⽴性假设？在估计条件概率**P(X**∣**Y)**时出现概率为**0**的情况怎么办？为什么属性独⽴性假设在实际情况中很难成⽴，但朴素⻉叶斯仍能取得较好的效果?朴素贝叶斯和逻辑回归(LR)的区别系列文章机器学习算法 01 —— K-近邻算法(数

文章目录系列文章聚类算法1 聚类算法简介2 聚类算法API初步使用3 聚类算法实现流程4 聚类模型评估4.1 误差平方和(SSE)4.2 肘方法4.3 轮廓系数法4.4 CH系数4.5 小结5 算法优化5.1 Canopy算法5.2 K-means++5.3 二分K-means5.4 K-medoids(K-中心聚类算法)5.5 Kernel K-means、ISODATA、(了解)6 特征工程-特征降维6.1 什么是特征降维6.2 特征选择低方差特征过滤皮尔逊相关系数斯皮尔曼相关系数6.3 主成分分析(P

文章目录系列文章1 集成学习算法介绍2 Bagging和随机森林2.1 Bagging集成原理2.2 随机森林2.3 包外估计2.4 随机森林API3 案例：奥拓产品分类3.1 背景介绍3.2 数据集介绍3.3 评分标准3.4 实现过程4 Boosting介绍4.1 什么是Boosting4.2 实现过程4.3 Bagging集成和Boosting集成的区别5 AdaBost5.1 构成过程细节5.2 AdaBost API介绍6 GBDT介绍6.1 Decision Tree**：**CART回归树6