ViT为何引入cls_token Vision Transformer在一些任务上超越了CNN，得益于全局信息的聚合。在ViT论文中，作者引入了一个cls_token作为分类特征。如果没有cls_token，我们使用哪个patch token做分类呢？根据自注意机制，每个patch token一定程度上聚合了全局信息，但是主要是自身特征。ViT论文还使用了所有token取平均的方式，这意味每个patch对预测的贡献相同，似乎不太合理。实际上，这样做的效果基本和引入cls_token差不多。cls_token的作用cls_token与
matplotlib图像设置 matplotlib是python中强大的可视化图像库，下面的代码是本人论文画图时的设置。import matplotlib.pyplot as pltimport numpy as npplt.figure()# 图片名称# plt.title('temp')bwith = 1.3 #边框宽度设置为2ax = plt.gca()#获取边框# ax.spines['top'].set_color('none') # 设置上‘脊梁’为红色# ax.spines['right'].set
特征融合的常见方法 深度学习中，假设有两个层次的特征x∈Rn,x∈Rm.x \in \mathbb{R}^n, x \in \mathbb{R}^m.x∈Rn,x∈Rm. 如何得到融合这两者的新特征z∈Rk.z \in \mathbb{R}^k.z∈Rk.常见的方法如下：concat : z=[x,y]∈Rm+n,k=m+n.z=[x,y] \in \mathbb{R}^{m+n}, k=m+n.z=[x,y]∈Rm+n,k=m+n.addition: z=x+y∈Rkz=x+y \in \mathbb{R}^{k}z
ubuntu latex缺少包的解决方案 在ubuntu16下用 latex 编译 **.tex文件有时候时会提示: ! LaTeX Error: File `××××.sty' not found.说明在你系统缺少**.sty这个文件。其实如果只是少了这一个文件的话，可以去CTAN这个网站（http://www.ctan.org/）去搜，把该文件下下来后直接放到你所编译的文件夹中再重新编译即可。但是治根不治本，如果有很多此类的sty文件缺失的话，就说明可能是少安装了一个程序包，如何找到这个程序包linux下有一个非常简单的指令：apt-f
latexVscode配置 { "workbench.colorTheme": "Default Light+", "latex-workshop.view.pdf.viewer": "tab", "latex-workshop.latex.autoBuild.run": "onSave", "latex-workshop.latex.recipes": [ { "name": "latexmk ????", "tools": [
os.listdir的随机性 python有一个列出特定目录下所有文件名的函数os.listdir，输入是文件夹名，输出是当前文件夹下所有的文件名，以List的形式展现。值得注意的是，os.listdir输出的list是无序的，在不同设备下，输出的顺序可能不一样！！！为了避免这种随机性，可以使用sorted函数进行排序，保证输出的顺序。import oslistdir = lambda f: sorted(os.listdir(f))...
全局和局部随机种子 应实际需求，为某一个函数生成固定的随机数列，需要设置局部随机种子。通过搜索，发现了numpy.random.RandomState可以实现局部随机种子的设置。它的用法和numpy.random.seed类似，区别是它和全局随机种子隔离，下面的结果表明了它的独立性。局部随机种子的独立性在numpy.random.seed设置好的情况，再设置numpy.random.RandomState，不会影响numpy.random.seed随机数的生成。numpy.random.RandomState 用法
Towards Certifying L_Infinity Robustness using Neural Networks with L_Infinity-dist Neurons 这是一篇解决对抗稳定性的顶会(ICML2021)文章。摘要：现有的神经网络对输入的扰动较敏感，这对于神经网络的应用很不友好，如何对抗这种鲁棒性具有重要的价值。作者认为，现有网络设计必然导致这种不稳定性，稳定的函数具有Lipschitz性质。因此，作者重新设计了神经网络的forward操作，使得神经网络保持Lipschitz性，从而对抗神经网络的不稳定。贡献在网络层面对抗稳定性，使得网络具有Lipschitz性质重新设计了L∞L_\inftyL∞距离神经元，并克服了网络训练中的一些困难理论证明了
Knowledge Graph Transfer Network for Few-Shot Recognition 阅读笔记 核心思想小样本学习的挑战在于：识别新类别样本的过程容易受颜色、纹理、物体大小和背景的影响（特异性）。作者把与新样本相关的基类数据的语义标签信息迁移到新样本识别中，避免新样本的特异性影响，帮助小样本的学习，实现泛化到新样本。使用知识图建模了基类和新类别之间的相关性，提出了Knowledge Graph Transfer Network.样本特征和分类器的关系典型的分类模型由特征提取器ϕ\phiϕ和分类器fff组成。设输入为ximx_{im}xim，预测的标签为y^=arg maxk fk(x)=ar
远程服务器传输文件 scp命令scp -r -P 200 ubuntu@117.71.55.48:/media/ubuntu/oriResize256/ ./oriResize256rsync命令还可以实现断点续传rsync -rP --rsh='ssh -p 200' ubuntu@117.71.55.48:/media/ubuntu/oriResize256/ ./oriResize256
解决Latex 包缺失问题 Ubuntu16[转] Ubuntu 安装了Texmaker，有时编译时会出现下列问题：! LaTeX Error: File `*.sty’ not found.说明缺少了这个包，我们可以选择下载并安装这些sty文件。也可以选择下面的办法。其实如果只是少了这一个文件的话，可以去CTAN这个网站去搜（http://www.ctan.org/），把该文件下下来后直接放到你所编译的文件夹中再重新编译即可。但是治根不治本，如果有很多此类的sty文件缺失的话，就说明可能是少安装了一个程序包，如何找到这个程序包linux下有一个非
医学图像处理(AI) 期刊和会议 期刊TMI: IEEE Transactions on Medical ImagingSCI二区期刊链接：https://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=42MedIA: Medical Image AnalysisSCI二区期刊链接：https://www.journals.elsevier.com/medical-image-analysis/会议MICCAI: International Conferenc
Ubuntu电脑NVIDIA-SMI出现问题的解决方法 Ubuntu系统的远程服务器，因为重启或者关机导致显卡出现了如下问题NVIDIA-SMI has failed because it couldn’t communicate with the NVIDIAdriver. Make sure that the latest NVIDIA driver is installed andrunning按下列命令卸载和重装了显卡驱动：#删除之前安装的nvidia驱动sudo apt-get purge nvidia-*# 添加第三方驱动源su
判断回文数 回文数：一个非负数，从左到右和从右到左看，都是一样的。例如：1，131,1001如何判断一个数是否为回文数？数字转化为字符（可迭代对象）把数字转化为字符，然后逆序排列得到一个新字符，再比较新字符和旧字符是否相等。def isPalindrome(num): numstr = str(num) if numstr == numstr[::-1]: return True return False数学方法通过取余操作和整除操作获得逆序的数字。对于数字num
python logger 保存代码运行的日志import loggingdef get_logger(filename, verbosity=1, name=None): level_dict = {0: logging.DEBUG, 1: logging.INFO, 2: logging.WARNING} formatter = logging.Formatter( "[%(asctime)s][%(filename)s][line:%(lineno)d][%(levelname)s] %(
连续素数和问题 对于一个大于1的正数，有些可以写成，1个或者多个连续素数和的形式，比如41，41=2+3+5+7+11+1341=11+13+1741=4141有三种形式。输入：大于1的正数int N输出：素数和的组数 int n# 判断素数def is_prime(number): if number > 1: if number == 2: return True if number % 2 == 0: r
个人AI论文阅读 本文章主要记录个人平常阅读的论文，具体细节不展开。Paper1Class-Balanced Loss Based on Effective Number of Samples摘要：设计了一个类平衡损失，用于解决长尾数据分布问题（即少数类占了大部分数据，而大多数类的代表性不足)。实现比较简单，只需要在现有的分类损失基础上，在每一个类别上乘上一个权重。CBLoss(p,y)=1−β1−βnyCELoss(p,y)CBLoss(p,y)=\frac{1-\beta}{1-\beta^{n_y}} C
Bash 语言 bsah For循环本人学习的是python, 但有时也需要一些bash语言。但在运行bash脚本时，比如实现for循环打印#!/bin/bashfor i in {1,2,3}do echo $idone运行：sh run.sh报错：Syntax error: “(” unexpected原因：sh 与 bash 有些地方不兼容，直接运行：bash xx.sh实现for循环的另一种方式如下adobe=(1 2 3)for item in ${adobe[@]}do
关注
