- 博客(9)
- 收藏
- 关注
RSS订阅原创 《Attention Is All You Need》注意力机制公式中Q,K,V的理解
一、概述《Attention Is All You Need》是一篇关于注意力机制里程碑的文章，从2017年发表至今2020年7月已经获得了上万的引用。该文的两大亮点一是提出了一个几乎仅依靠注意力来完成机器翻译的模型Transformer，推动了NLP的发展，另外一个亮点是改进了点积注意力（Dot-Product Attention），加入了一个缩放因子，提出了可伸缩点积注意力（Scaled Dot-Product Attention）。本人在阅读了《Attention Is All You Need》和
2020-07-26 18:29:43
24499
6
原创 Transformer浅析
原论文地址：https://arxiv.org/abs/1706.03762原解析地址：https://jalammar.github.io/illustrated-transformer/代码地址：https://github.com/tensorflow/tensor2tensor一、概述本文内容是对《Attention Is All You Need》所提出的Transformer模型进行的简单梳理。Transformer的基础即是Attention（注意力机制），该模型由Google主
2020-07-15 01:26:47
2196
原创 CUDA PYTHON 矩阵相乘
CUDA PYTHON 矩阵相乘一、CUDA线程索引二、CUDA矩阵计算1、卷积计算2、矩阵相乘三、CUDA共享内存四、CUDA python 矩阵相乘代码实践参考内容一、CUDA线程索引线程索引即如何根据线程层次中的blockId，gridId以及threadId确定线程的确切下标。可以把线程确切的下标理解为一个唯一的线程索引表示，它和线程层次中的每一个线程都是一一对应的。线程层次参看前一篇文章 CUDA PYTHON并行计算基础。例如下方图示所给出的计算方法。对于一维的情况，如果一个Block有8
2020-07-12 16:05:51
2863
原创 CUDA PYTHON 并行计算基础
一、CUDA异构计算基础1.CUDA简介CUDA(Compute Unified Device Architecture)，是一种基于C/C++的编程方法，支持异构编程的扩展方法，提供了简单明了的APIs，能够轻松的管理存储系统。目前CUDA支持的编程语言包括C/C++/Python/Java/Fortran等。2.CUDA生态上图从上到下依次为：基于GPU计算的应用程序，一些GPU计算的库与中间件，编程语言，不同架构的GPU设备。3.CUDA并行计算模式并行计算即是同时应用多个计算资源解决一
2020-06-18 16:14:11
4199
2
原创 YOLO总结
一、目标检测发展历程下方是来自github整理的一张目标检测的数据集图和关于时间线的发展史图。具有重要影响的模型用红色标出，可以根据需要进行学习。网上流传的另一种分类按照一阶段目标检测和两阶段目标检测作划分也可以对不同的方法有一个大致的认识：二、各YOLO版本对比项目YOLOv1YOLOv2YOLOv3YOLOv4创新点使用单个神经网络，将目标检测网络看作回归问题1.引入Anchor boxes，K-means聚类和直接位置预测改善定位问题。2.改进了网络结构，
2020-06-14 21:17:09
607
原创 YOLOv4论文解读
论文原文：https://arxiv.org/pdf/2004.10934.pdf代码实现：https://github.com/AlexeyAB/darknet一、介绍原文名称：《YOLOv4: Optimal Speed and Accuracy of Object Detection》，可以看出这是一个非常自信的题目，声称YOLOv4在目标检测具有最优的速度和准确率。相比于Joe Redmon的最终作品YOLOv3，Alexey Bochkovskiy为一作的YOLOv4确实取得了非常明显的
2020-06-14 19:55:03
3552
原创 YOLOv3论文解读
YOLOv3论文解读论文地址：https://arxiv.org/pdf/1804.02767.pdf代码实现：作者本人： https://pjreddie.com/darknet/yolo/github：pytorch 简易版：https://github.com/eriklindernoren/PyTorch-YOLOv3github：keras版：https://github.com/qqwweee/keras-yolo3一、概述YOLOv3原文：《YOLOv3: An Increme
2020-06-07 15:57:18
5950
原创 YOLOv2论文解读
YOLOv2论文解读论文原文地址：https://arxiv.org/pdf/1612.08242.pdf论文的代码实现（原作者实现已经换成了YOLOv3，这里给出两个github版本）：pytorch版本：https://github.com/longcw/yolo2-pytorchkeras版本：https://github.com/yhcc/yolo2一、概述YOLO9000中的9000是说它可以检测的超过9000多种类别的物体，比其它检测算法多出许多。它是YOLOv1的升级版本，因此又
2020-06-07 10:44:10
524
翻译 YOLOv1论文解读
YOLOv1论文解读论文原文地址：https://arxiv.org/pdf/1506.02640.pdf论文的一个tensorflow实现版本：https://github.com/gliese581gg/YOLO_tensorflow一、摘要YOLO的英文是（you only look once），之所以这样命名是相对于之前的物体检测方法提出的，YOLO是整个系列初始版本，后续改进版本用v加一个数字表示版本号，本文使用的YOLO即是YOLOv1。在YOLO以前，物体检测方法主要是通过regi
2020-06-01 00:40:51
497
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人