My Notebook
文章平均质量分 82
个人学习笔记
Ali_Hu Ali_Hu
所有人的天赋就是你的泪水!
展开
-
Transformer算法——总结
简介:算法出处想必大家都熟悉了,源于论文《Attention is All You Need》,代码部分可以从GitHub获取,其作为Tensor2Tensor包的一部分。(注:目前也实现了一个基于PyTorch的版本) 来看一下算法的总体结构,稍后从更容易理解的角度分析:详解一——宏观黑盒: 都说卷积神经网络可以看作一个黑盒子,其实Transformer算法模型也是一个黑箱操作,看图理解:在机器翻译中,很明显,输入一种语言,经过算法模型得到另...原创 2022-03-08 09:07:31 · 4427 阅读 · 0 评论 -
An analysisof spatial transformers and stochastic optimisation methods-总结
(TSRS:交通标志识别系统)-->TSD(交通标志检测)+TSR(交通标志识别) (前者:图片中目标的定位;后者:细粒度分类) 回顾了交通标志识别系统的相关工作 描述了为分析空间Transformers和随机优化算法对拟议CNN的影响而进行的实验 识别结果 结论并提出进一步工作 1.细粒度分类是对大类下的子类进行识别。细粒度图像分析任务相对通用图像任务的区别和难点在于其图像所属类别的粒度更为精细。 2. 细粒度分类...原创 2022-02-23 11:19:52 · 2157 阅读 · 0 评论 -
梯度下降算法
1.优化神经网络损失函数的最常见且已建立的算法。2.迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。3.利用负梯度方向来决定每次迭代的新的搜索方向,使得每次迭代能使待优化的目标函数逐步减少。X(k+1)= X(k) - a * g(k) , 其中a称为学习速率,可以是较小的常数,g(k)是X(k)的梯度。4.主要目的:通过迭代找到目标函数的最小值,或者收敛到最小值。5.首先,我们有一个可微分的函数。这个函数就代表着一座山。我们的目标就是找到这个函数的最小值,也就是山底。根据之前原创 2022-02-21 11:09:04 · 845 阅读 · 0 评论