深度学习
欧阳AI锋
这个作者很懒,什么都没留下…
展开
-
Trust your Good Friends: Source-free Domain Adaptation by Reciprocal Neighborhood Clustering
域自适应(Domain adaptation, DA)是为了缓解源域和目标域之间的域迁移。大多数数据处理方法需要访问源数据,但这通常是不可能的(例如,由于数据隐私或知识产权)。在本文中,我们解决了具有挑战性的无源域自适应(SFDA)问题,其中源预训练模型在没有源数据的情况下适应目标域。本文的方法是基于这样一种观察,即目标数据可能与源域分类器不一致,但仍然形成清晰的聚类。原创 2023-09-16 20:35:10 · 171 阅读 · 0 评论 -
HMM-GDAN: Hybrid multi-view and multi-scale graph duplex-attention networks for drug response predic
具体来说,我们提出了混合多视图和多尺度图双关注网络(HMM-GDAN),其中既有多视图自注意机制,也有视图级注意机制设计了捕获视图互补信息的机制,并强调视图的互补性每个视图的重要性协同,丰富的多尺度特征的构建和集成进一步形成高级表示,以便更好地预测。针对多视图设计了双注意机制图学习,它利用视图之间的互补信息并捕获每个视图的重要性查看协作。实现端到端的多视图图学习方案中,我们提出了多视角和多尺度混合方案药物图双注意网络(HMM-GDAN)响应预测,它利用了有用的多视图。通过多尺度信息学习更好的表征融合。原创 2023-09-05 14:12:50 · 111 阅读 · 0 评论 -
Learning with Fantasy: Semantic-Aware Virtual Contrastive Constraint for Few-Shot Class-Incremental
Few-shot class-incremental learning (FSCIL) aims atlearning to classify new classes continually from limitedsamples without forgetting the old classes.However, in this work, we find that the CE loss is not ideal for the base session training as it suffer原创 2023-08-05 22:45:02 · 175 阅读 · 0 评论 -
Few-Shot Learning with Visual Distribution Calibration and Cross-Modal Distribution Alignment
框架图:原创 2023-07-27 13:28:11 · 125 阅读 · 0 评论 -
Glocal Energy-based Learning for Few-Shot Open-Set Recognition
Few-Shot Open Recognition: Query部分open。原创 2023-07-25 07:55:29 · 159 阅读 · 0 评论 -
对比学习常见损失函数
本文介绍常见的对比学习损失函数:原创 2023-07-20 18:33:03 · 138 阅读 · 0 评论 -
Open-Set Likelihood Maximization for Few-Shot Learning
首先对模型进预训练OSLO的想法:模型的测试:对数似然目标:其中,转化为对数似然函数:使用隐变量:惩罚项:最优化如下目标:原创 2023-07-20 18:25:06 · 115 阅读 · 0 评论 -
GKEAL: Gaussian Kernel Embedded Analytic Learning for Few-shot Class Incremental Task
算法过程:高斯核嵌入:原创 2023-07-18 23:18:16 · 124 阅读 · 0 评论 -
Prototype Completion for Few-Shot Learning
小样本学习的目的是用很少的例子来识别新类。基于预训练的方法有效地解决了通过预训练一个特征提取器,然后通过最近的基于质心的元学习对其进行微调 (pretraining + fine-tuning)。在本文中,1)我们找出原因,即在预训练的特征中在空间中,基本类已经形成了紧凑的集群,而新的类则以很大的差异作为群体传播,这意味着微调特征提取器意义不大;2)不再对特征提取器进行微调,而是着重于估计更具代表性的特征原型。因此,我们提出了一个新的基于原型完成的元学习框架。WordNet可以得到类的属性。原创 2023-07-10 23:44:01 · 168 阅读 · 0 评论 -
人工智能的研究方向
深度学习是当前最热门的AI研究领域之一。这个领域试图模拟人脑的工作方式,通过训练大量的数据,提取数据中的有价值信息,进行预测或决策。这个领域关注如何让机器在与环境交互的过程中,通过试错和优化策略,实现特定目标的最大化。NLP的应用广泛,包括翻译、情感分析、文本生成、信息检索、语音识别等。神经符号集成是一个新兴的研究领域,试图结合神经网络的学习能力和符号逻辑的解释能力。这个领域的目标是建立可解释、可信任的AI系统。生成模型是一个热门的研究方向,它的目标是让机器能够创造出新的、以前未曾见过的内容。原创 2023-07-09 21:18:36 · 143 阅读 · 0 评论 -
SEGA: Semantic Guided Attention on Visual Prototype for Few-Shot Learning
方法比较简单,利用语义改进prototype,能促进性提升。原创 2023-07-09 16:46:58 · 275 阅读 · 0 评论 -
基于层次最优传输的小样本学习
最优传输的数学模型如下:原创 2023-07-08 20:06:43 · 67 阅读 · 0 评论 -
关于sub-gaussian 和 sub-exponential随机变量的集中不等式
回顾一下,Radmacher复杂度为。3. Radmacher复杂度。2. PCA的一致界。原创 2023-06-17 23:06:37 · 1133 阅读 · 0 评论 -
AAAI 2024截稿日期一览
AAAI 2024的各项非截止时表已经出来了。原创 2023-06-16 21:44:09 · 13305 阅读 · 4 评论 -
【好书推荐】《人工智能:原理与实践》
书籍推荐原创 2023-02-08 16:05:44 · 296 阅读 · 0 评论 -
凸优化方法之NASG: Nesterov Accelerated Shuffling Gradient
最优化原创 2023-02-07 15:37:17 · 143 阅读 · 0 评论 -
ICCV 2023截止时间
人工智能学阿虎会议原创 2023-01-06 12:38:12 · 5710 阅读 · 2 评论 -
CVPR 2023截止时间
CV会议时间原创 2022-09-29 10:13:38 · 5586 阅读 · 0 评论 -
多视图图神经网络
一种多视图图神经网络方法原创 2022-07-16 23:08:40 · 560 阅读 · 0 评论 -
Ubuntu系统nvidia-smi命令报错
最近配置深度学习环境遇到的天坑:nvidia-smi命令报错!网上收集了很多资料, 基本上都是说要配置匹配的gcc版本但是, 我试了很多次,依然不行!!!!最后,我更换了NVIDIA驱动版本后,直接可用了。大功告成,直接上图...原创 2022-07-04 19:21:44 · 1285 阅读 · 0 评论 -
变分贝叶斯、Variational Inference
不是大功告成了吗?通常情况下,上式是很难计算的,直观上看,需要考虑所有的都已比较困难了,更不用说能不能积分了,尤其是维度较高的情况,是需要多重积分的。当然,我们可以用Monte Carlo 的方法,不断的采样,然后近似得到结果。但对于高维的情况,我们需要大量的样本才能得到一个比较满意的结果,显然这也不是一个很好的选择。Variational Inference (VI) 为我们提供了另外的一种思路,其基本思想是直接去近似后验分布,通过优化不断地去提高近似程度。下面将介绍VI的基本思想和相关知识。Evid.原创 2022-01-30 22:08:17 · 496 阅读 · 0 评论 -
PyTorch奇异值分解(svd)
PyTorch里面如何进行奇异值分解呢?PyTorch里面有个svd函数torch.svd(input, some=True, compute_uv=True, out=None) -> (Tensor, Tensor, Tensor)示例:原创 2020-09-28 15:01:30 · 6780 阅读 · 5 评论 -
自监督卷积子空间聚类网络
Deep Clustering网络结构如图:Encoder-Decoder Network:自表示模块:自监督:其中 A=12(∣C∣+∣CT∣)A=\frac{1}{2}(|C|+|C^{T}|)A=21(∣C∣+∣CT∣).交叉熵和中心损失:其中, π(yj)\pi(\mathbf{y}_{j})π(yj)为谱聚类得到的簇标签。以上就是自监督卷积子空间聚类网络的损失函数。整个算法为:...原创 2020-08-09 17:03:02 · 627 阅读 · 3 评论 -
torch.where
torch.where的用法为torch.where(condition,x,y)例子A = torch.Tensor([-1,2,3])B = torch.ones(3)torch.where(A>1,A,B)输出为:Tensor([1,2,3])原创 2020-07-30 10:05:46 · 453 阅读 · 0 评论 -
python深度学习遇到multiprocessing/synchronize.py报错为Permission Denied
有的人在用PyTorch跑深度学习的实验时,会遇到无法访问共享内存的问题,即Python程序报错为这时u,大家会想到,chmod授权不就行了吗?事实上,这么做也不行!!!出现这个错误就在于当前用户为普通用户而非root用户,没有访问共享内存的权限,因此需要更改/dev/shm在root用户里面按如下步骤操作:Step 1 添加代码在/etc/fstab里面增加一行代码none dev/shm/ tmpfs rw,nosuid,nodev,noexec, 0 0Step 2 手动重装s原创 2020-07-30 09:02:22 · 1172 阅读 · 0 评论 -
PyTorch+cudnn安装教程
1. PyTorch安装先安装anaconda,在安装PyTorch安装anaconda去官网找适配系统的版本bash Anaconda2-5.2.0-Linux-x86_64.sh然后配置环境变量vim ~/.bashrc安装PyTorch需要匹配python版本,CUDA版本进入PyTorch官网https://pytorch.org/,2.cudnn安装conda install cudnn...原创 2020-07-11 19:49:55 · 1152 阅读 · 0 评论 -
Mini-Batch梯度下降算法
自2017年AlphaGo问世以来,深度学习如火如荼,尤其是在计算机视觉,自然语言处理领域都取得了非凡的进展。然而,深度学习依赖大量的样本,否则容易出现过拟合现象。既然是大量样本,那么对算力有相当的要求。要么硬件更强,要么算法收敛更快。下面介绍一种较快的优化算法–Mini-Batch梯度下降。minw∈RdEξ[F(w,ξ)]+g(w)\min_{w\in\mathbb{R}^{d}} E_{...原创 2019-08-21 09:51:42 · 250 阅读 · 0 评论