深度学习
文章平均质量分 55
深度
gltangwq
记录,分享。
展开
-
自定义采样方式 Pytorch
自定义采样原创 2022-09-23 11:43:44 · 1148 阅读 · 1 评论 -
ViT为何引入cls_token
Vision Transformer在一些任务上超越了CNN,得益于全局信息的聚合。在ViT论文中,作者引入了一个cls_token作为分类特征。如果没有cls_token,我们使用哪个patch token做分类呢?根据自注意机制,每个patch token一定程度上聚合了全局信息,但是主要是自身特征。ViT论文还使用了所有token取平均的方式,这意味每个patch对预测的贡献相同,似乎不太合理。实际上,这样做的效果基本和引入cls_token差不多。cls_token的作用cls_token与原创 2022-05-24 17:38:46 · 5500 阅读 · 2 评论 -
特征融合的常见方法
深度学习中,假设有两个层次的特征x∈Rn,x∈Rm.x \in \mathbb{R}^n, x \in \mathbb{R}^m.x∈Rn,x∈Rm. 如何得到融合这两者的新特征z∈Rk.z \in \mathbb{R}^k.z∈Rk.常见的方法如下:concat : z=[x,y]∈Rm+n,k=m+n.z=[x,y] \in \mathbb{R}^{m+n}, k=m+n.z=[x,y]∈Rm+n,k=m+n.addition: z=x+y∈Rkz=x+y \in \mathbb{R}^{k}z原创 2021-12-03 11:36:14 · 6653 阅读 · 0 评论 -
Towards Certifying L_Infinity Robustness using Neural Networks with L_Infinity-dist Neurons
这是一篇解决对抗稳定性的顶会(ICML2021)文章。摘要:现有的神经网络对输入的扰动较敏感,这对于神经网络的应用很不友好,如何对抗这种鲁棒性具有重要的价值。作者认为,现有网络设计必然导致这种不稳定性,稳定的函数具有Lipschitz性质。因此,作者重新设计了神经网络的forward操作,使得神经网络保持Lipschitz性,从而对抗神经网络的不稳定。贡献在网络层面对抗稳定性,使得网络具有Lipschitz性质重新设计了L∞L_\inftyL∞距离神经元,并克服了网络训练中的一些困难理论证明了原创 2021-07-12 22:35:36 · 220 阅读 · 0 评论 -
机器学习中分类任务的评价指标
学会分类是凸显人类智慧的技能之一. 如何使得机器也具备分类能力, 这便是时下机器学习的内容之一. 垃圾邮件识别, 动植物种类判断都属于分类任务. 常见的机器学习分类算法有朴素贝叶斯, 支持向量机, 决策树, 随机森林等. 如何定量地去度量一个算法的好坏呢? 为此, 我们需要引入一些分类的评价指标. 常见的评价指标有: 准确率, 精准率, 召回率, 灵敏度, 特异度, AUC, F1-score等. 下面以二分类为例:阳性(客观)阴性(客观)阳性(预测)TP(真阳性)FP(假阳性原创 2020-06-13 22:04:56 · 529 阅读 · 0 评论 -
个人AI论文阅读
本文章主要记录个人平常阅读的论文,具体细节不展开。Paper1Class-Balanced Loss Based on Effective Number of Samples摘要:设计了一个类平衡损失,用于解决长尾数据分布问题(即少数类占了大部分数据,而大多数类的代表性不足)。实现比较简单,只需要在现有的分类损失基础上,在每一个类别上乘上一个权重。CBLoss(p,y)=1−β1−βnyCELoss(p,y)CBLoss(p,y)=\frac{1-\beta}{1-\beta^{n_y}} C原创 2020-08-05 15:32:49 · 389 阅读 · 0 评论 -
ColorNet
2019年,清华大学团队写了一篇探究颜色空间对图像分类重要性的文章colorNet。paper《ColorNet: Investigating the importance of color spaces for image classification》。目录文章结论网络结构复现关键点复现结果文章结论在图像分类领域,使用不同的颜色空间(RGB/HSV等),分类效果...原创 2019-04-01 17:29:09 · 1174 阅读 · 6 评论 -
Ubuntu16配置深度学习环境
深度学习,原创 2019-07-04 16:11:29 · 947 阅读 · 0 评论