![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 78
深度学习相关
博观而约取,厚积而薄发
这个作者很懒,什么都没留下…
展开
-
对比学习(contrastive Learning)
自监督学习又可以分为对比学习(contrastive learning)和生成学习(generative learning)两条主要的技术路线。比学习的核心思想是将正样本和负样本在特征空间对比,从而学习样本的特征表示,使得样本与正样本的特征表示尽可能接近。正样本和负样本是使用代理任务(pretext task)来定义的. 代理任务定义了样本之间的相似性,给定一个样本,与之相似的样本就是正样本,而不相似的样本就是负样本.。原创 2023-11-02 10:59:12 · 361 阅读 · 0 评论 -
笔记:transformer系列
这是对不同长度的单词维度进行扩展,但是对于图像或者其他类别而言未必是最后一个维度大小不一致,可以参考ViT将nn.embeding换成nn.Linear,还需要修改mask.自注意力机制适合处理长文本,并行度好,在GPU上,CNN和Self-attention性能差不多,在TPU(Tensor Processing Uni)效果更好。且范围在[0,100]之间(试出来的,未必准确),原生的Transformer中。原创 2023-08-23 19:38:14 · 579 阅读 · 0 评论 -
深度学习面试总结
现在的很多网络都使用了利用单个高层特征(比如说Faster R-CNN利用下采样四倍的卷积层)进行后续的物体的分类和bounding box的回归,但是这样做有一个明显的缺陷,即小物体本身具有的像素信息较少,在下采样的过程中极易被丢失,为了处理这种物体大小差异十分明显的检测问题,提出了特征金字塔的网络结构,能在增加极小的计算量的情况下,处理好物体检测中的多尺度变化问题。模型量化 就是为了解决这类问题。量化方法:TensorRT。原创 2022-09-21 15:26:23 · 737 阅读 · 0 评论