![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
基础理论
文章平均质量分 92
包括机器学习和深度学习以及算法知识
山科智能信息处理实验室
该博客旨在记录智能处理实验室一系列学术成果,以及实验室的点点滴滴。
如果有博客中提到的论文或代码需求,烦请联系邮箱jlzhao@sdust.edu.cn
展开
-
联邦学习中的数据非独立同分布问题
比如在一个图像分类数据集cifar-10中,共有6W张照片分为10类,在传统的图像分类实验中,数据集采用均匀划分的5w个作为训练集,1w个样本作为测试集。在传统的应用场景中,数据存储在中心,机器学习可以获取所有数据的整体信息,但是在联邦学习中,由于数据仅存储在本地,导致数据之间分布的不一致性。在传统的机器学习中,可以把训练集和测试集看成两个客户端,在之前的训练中,我们都是假设这两个客户端是IID的,这是通过训练数据集获得的模型在测试数据集上也能表现较好的重要保障。原创 2023-10-10 09:47:26 · 1413 阅读 · 1 评论 -
联邦学习应用研究现状及发展趋势
本文章主要参考第32届国际人工智能联合会议(IJCAI)上由清华大学人工智能研究院知识工程研究中心(KEG)、北京智谱华章科技有限公司、开放群岛开源社区联合编写的《2023联邦学习全球研究与应用趋势报告》,对重点内容进行总结提炼,并介绍部分学习资料,旨在帮助对联邦学习感兴趣的学习者更快了解其研究现状及未来可能的发展趋势。原创 2023-09-26 09:17:22 · 1381 阅读 · 0 评论 -
联邦学习FedAvg-基于去中心化数据的深度网络高效通信学习
随着计算机算力的提升,机器学习作为海量数据的分析处理技术,已经广泛服务于人类社会。 然而,机器学习技术的发展过程中面临两大挑战:一是数据安全难以得到保障,隐私泄露问题亟待解决;二是网络安全隔离和行业隐私,不同行业部门之间存在数据壁垒,导致数据形成“孤岛”无法安全共享,而仅凭各部门独立数据训练的机器学习模型性能无法达到全局最优化。为解决上述问题,谷歌提出了联邦学习(FL,federated learning)技术。原创 2023-08-30 16:54:23 · 2568 阅读 · 1 评论 -
从知识图谱和自然语言生成的角度认识可解释推荐
本文从知识图谱和自然语言生成的角度来认识可解释推荐转载 2023-04-06 19:21:23 · 222 阅读 · 0 评论 -
基于三维块匹配滤波的传统图像去噪中非局部自相似去噪算法—BM3D原理总结
BM3D技术总结,用于基础学习。项目网址:http://www.cs.tut.fi/~foi/GCF-BM3D/转载 2022-12-21 13:27:37 · 1439 阅读 · 1 评论 -
图结构学习最新综述:研究进展与未来展望
图结构学习的出发点:GNN 的成功可以归因于它们能够同时利用图结构和属性中固有的丰富信息,但所提供的图不可避免的不完整和噪声较大,这给将GNN应用于现实问题带来了巨大的挑战。从表示学习的角度来看,GNN通过递归聚合来自相邻节点的信息来计算节点嵌入,这种迭代机制具有级联效应——小的噪声将传播到社区,恶化许多其他表示的质量。上述问题激发了围绕图结构学习(GSL)的中心主题的大量研究,该主题的目标是联合学习一个优化的图结构及其相应的表示。转载 2022-12-14 17:41:30 · 1095 阅读 · 0 评论 -
GNN 推荐系统综述 - Graph Neural Networks in Recommender Systems: A Survey
本文是一篇推荐系统综述,介绍了Graph Neural Networks,Recommender System方面的相关内容转载 2022-12-01 16:41:21 · 911 阅读 · 0 评论 -
自监督学习入门
自监督学习入门转载 2022-11-16 21:33:50 · 299 阅读 · 0 评论 -
基于低秩张量的高光谱图像重建理论基础-基础知识学习
原文《基于张量低秩稀疏恢复理论的遥感高光谱图像降噪研究》转载 2022-11-08 22:13:06 · 2759 阅读 · 0 评论 -
面向大规模神经网络的模型压缩和加速方法【方法介绍】【相关工作】
随着科学研究与生产实践相结合需求的与日俱增,模型压缩和加速成为当前的热门研究方向之一。本文旨在对一些常见的模型压缩和模型加速方法进行简单介绍(每小节末尾都整理了一些相关工作,感兴趣的小伙伴欢迎查阅)。这些方法可以减少模型中存在的冗余,将复杂模型转化成更轻量的模型。本文涉及方法的主要类别有:知识蒸馏、高效网络结构设计、条件计算、模型剪枝、参数共享、量化。转载 2022-10-31 19:31:48 · 364 阅读 · 0 评论 -
更通俗易懂的理解图卷积神经网络(GCN)
在这篇博文中会以一种通俗易懂的方式为大家详细地介绍目前使用广泛的图神经网络——图卷积网络(Graph Convolutional Networks, GCN)的相关知识。首先将带领大家直觉上感受其工作原理,然后再介绍更深层的数学原理。转载 2022-10-20 10:36:39 · 1052 阅读 · 1 评论 -
经典图像去噪算法概述
基于梯度先验去噪方法的重点是局部特征,而忽略图像的全局结构。上面问题可以由Y的奇异值分解解决,由于奇异值分解的能量压缩性质,信息的主要能量都集中在少数几个较大的奇异值上,而较小的奇异值对应于噪声子空间,将它们设置为零可以得到去噪后的低秩矩阵,问题的关键是如何确定阈值来区分信号与噪声,太大的阈值会使图像过于平滑从而模糊掉边缘及纹理,太小的阈值则难以达到去噪的效果。由噪声模型可以看出加性噪声和图像信号之间是相加的关系,不管有无图像信号的存在,噪声是客观存在的,因此可知图像信号和噪声信号之间是不相关的。原创 2022-10-12 19:42:17 · 9464 阅读 · 0 评论 -
卷积神经网络(CNN)详解
卷积神经网络(CNN)详解1. 卷积神经网络结构介绍如果用全连接神经网络处理大尺寸图像具有三个明显的缺点:(1)首先将图像展开为向量会丢失空间信息;(2)其次参数过多效率低下,训练困难;(3)同时大量的参数也很快会导致网络过拟合。而使用卷积神经网络可以很好地解决上面的三个问题。与常规神经网络不同,卷积神经网络的各层中的神经元是3维排列的:宽度、高度和深度。其中的宽度和高度是很好理解的,因为本身卷积就是一个二维模板,但是在卷积神经网络中的深度指的是激活数据体的第三个维度,而不是整个网络的深度,整个网络的深度指转载 2022-05-27 20:56:05 · 3571 阅读 · 0 评论 -
目标检测之YOLO系列
1、yolo系列发展背景在 CV (计算机视觉)领域,目标检测任务是实际应用项目的第一步,主要包括:人脸识别、多目标检测、REID、客流统计等内容。yolov5是目标检测一个非常成熟、经典的模型,它自从提出以来,在工业、军事、科研方面有着广泛的应用。yolov1,v2,v3的作者是美国的Joseph Redmon,被人称为yolo之父,但是由于其反对将yolo用于军事和隐私窥探,2020年2月宣布停止更新yolo。后来,俄罗斯的Alexey大神更新了yolov4,不久之后,y...转载 2022-05-09 15:51:49 · 2960 阅读 · 0 评论 -
神经网络压缩方法总结
首先,为什么需要对神经网络模型进行压缩呢?我们在之前的课程中介绍过很多大型的深度学习模型,但当我们想要将这些大模型放在算力比较小的边缘设备或者其他IoT设备里面,就需要对大模型进行压缩。Lower latency:低时延 Privacy:私密性介绍5个网络压缩的方法,我们只考虑算法(软件)层面,不考虑硬件层面的解决方法。Network Pruning(网络剪枝)对于一个大的网络来说,我们能想到的是,众多网络参数中一定会有不重要/冗余的一些参数,因此我们将这些参数减掉达到网络压缩的目的。网络剪枝的步骤如下:转载 2022-04-28 22:02:52 · 2451 阅读 · 1 评论 -
推荐系统领域最新研究进展(0410-0417)
本文精选了上周(0410-0417)最新的20篇推荐系统相关的论文,方向主要包括去偏推荐、对话推荐、基于负采样的推荐、联邦推荐、公平性推荐、序列化推荐、加速推荐系统训练、时尚推荐、新闻推荐、基于内容的协同过滤推荐等的推荐算法,应用涵盖会话推荐、序列推荐以及组推荐、新闻推荐等。为节省大家时间,只整理了论文标题以及摘要,如果感兴趣可移步原文精读。论文标题:Self-Guided Learning to Denoise for Robust Recommendation, SIGIR2022A Unifi转载 2022-04-24 21:51:43 · 2854 阅读 · 0 评论 -
图神经网络入门
近年来,深度学习领域关于图神经网络(Graph Neural Networks,GNN)的研究热情日益高涨,图神经网络已经成为各大深度学习顶会的研究热点。GNN处理非结构化数据时的出色能力使其在网络数据分析、推荐系统、物理建模、自然语言处理和图上的组合优化问题方面都取得了新的突破。图神经网络有很多比较好的综述[1][2][3]可以参考,更多的论文可以参考清华大学整理的GNN paper list[4]。本篇文章将从一个更直观的角度对当前经典流行的GNN网络,包括GCN、GraphSAGE、GAT、.转载 2022-04-13 14:41:44 · 467 阅读 · 0 评论 -
张量学习:张量补全(tensor completion)
目录一、什么是张量(Tensor)?二、张量补全(tensor completion)1 基于张量分解的方法1.1 基于CP分解1.2 基于Tucker分解1.3 基于张量链分解1.4 基于张量环分解1.5 基于t-SVD分解2 秩最小化模型2.1 Tucker秩最小化模型2.2 张量链秩最小化模型2.3 管秩最小化模型一、什么是张量(Tensor)?张量这个词英文叫Tensor。很多人有可能觉得比较陌生,但相信大部分人都听说过Tensor...转载 2022-04-07 15:37:37 · 5063 阅读 · 3 评论 -
最新深度学习推荐系统综述:从协同过滤到信息增强的推荐系统
前言深度学习技术已经在计算机视觉以及自然语言理解等领域取得了巨大的成功,受其影响深度学习研究也开始在推荐系统领域得到关注。近些年来,已经见证了基于神经网络的推荐系统的巨大进步,其已经超越了传统推荐模型的性能。不同于基于深度模型的结构进行综述(比如以MLP、CNN、RNN等进行分类),也不同于对于某一子领域进行综述(比如跨域推荐、知识图谱推荐等),本次介绍的论文以推荐模型的准确性为目标,从推荐模型的角度对神经推荐模型进行了系统的综述,旨在总结该领域的研究成果,为研究推荐系统的研究者和实践者...转载 2022-03-29 11:14:21 · 1950 阅读 · 0 评论 -
深度神经网络压缩和加速详解+张量化网络论文汇总
目录 1.背景介绍 2.压缩方法概述 3.压缩方法详述 3.1参数剪枝 3.2参数量化 3.3低秩分解(张量分解) 3.4参数共享 3.5紧凑网络 3.6知识蒸馏 3.7混合模型 3.8不同压缩模型比较 1.背景介绍 深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简...转载 2022-03-21 17:53:22 · 2269 阅读 · 0 评论 -
走进跨域推荐系统
作者简介:张高玮,研究方向为推荐系统。引言:近年来跨域推荐方法逐渐受到人们的关注,为解决推荐系统中数据稀疏以及冷启动这两个问题提供了新的思路。本文聚焦于跨域推荐,依据解决方法的不同将跨域推荐模型分为基于共享实体表示的模型、基于域间映射的模型、基于异构图嵌入的模型、基于多领域协同训练的模型四大类进行整理介绍,欢迎大家批评和交流。目录1. 总体介绍1.1 什么是跨域推荐1.2 为什么需要跨域推荐2. 模型分类2.1 基于共享实体表示的模型2.2 基于域间映射的模型2.3 基于异构图嵌入的模型2.4 基于多领域协转载 2022-03-17 21:51:50 · 966 阅读 · 1 评论 -
图神经网络在推荐系统的应用研究综述
概要如今推荐系统的研究非常火热,GNN也在很多领域表现优异。推荐系统主要的挑战是从历史交互(historical interactions)和边信息(side information)中学习有效的用户(user)和物品(item)表示,由于很多信息具有图结构,而且GNN擅长表示学习,所以很多工作将GNN应用到推荐系统中。本文是北京大学相关团队发表的一篇「基于GNN的推荐系统」方向的综述,文章回顾了近几年GNN在推荐系统中的相关工作,提出了一个新的分类体系,并阐述了有关该领域未来发展的新观点。..转载 2022-03-08 10:05:20 · 2242 阅读 · 0 评论 -
可视化推导贝叶斯定理公式
转自:极市平台 微信公众号 https://mp.weixin.qq.com/s/DbInmnMCigzmjnr_1uzEiA什么是贝叶斯定理?在统计和应用数学中,贝叶斯定理也被称为贝叶斯规则,它是一个用于确定事件的偶然性概率的数学公式。贝叶斯定理描述了由事件相关条件的先验知识支持的事件发生的概率。这个定理以英国统计学家贝叶斯的名字命名,他在1763年发现了这个公式。它被认为是被称为贝叶斯推断的特殊统计推断方法的灵感。除了统计学之外,贝叶斯定理还被用于医学和药理学等各个学科。该理论通常.转载 2021-12-02 15:59:08 · 194 阅读 · 0 评论 -
图神经网络简介及其在交通流预测中的应用
原文链接:图神经网络简介及其在交通流预测中的应用1.火爆的图神经网络究竟什么来路?最近几年,作为一项新兴的图数据学习技术,图神经网络(GNN)受到了广泛的关注。2018年年末,发生了两件特殊的事情。图数据学习领域同时发表了三篇综述论文,这种现象体现了学术界对该项技术的高度认可;更有众多工业界与学术界的大佬联名上书,支持GNN。由DeepMind、谷歌大脑、MIT 和爱丁堡大学等公司和机构的 27 位科学家共同发表了一篇论文Relational inductive biases, deep learning,转载 2021-10-30 16:35:33 · 3143 阅读 · 0 评论 -
强化学习 马尔科夫决策过程(MDP)
1. 强化学习引入MDP的原因强化学习的环境的状态转化模型,它可以表示为一个概率模型,即在状态下采取动作a,转到下一个状态s′的概率,表示为如果按照真实的环境转化过程看,转化到下一个状态s′的概率既与上一个状态s有关,还与上上个状态,以及上上上个状态有关。这一会导致我们的环境转化模型非常复杂,复杂到难以建模。因此我们需要对强化学习的环境转化模型进行简化。简化的方法就是假设状态转化的马尔科夫性,也就是假设转化到下一个状态s′的概率仅与上一个状态s有关,与之前的状态无关。用公式表示就是:...转载 2021-10-24 20:56:58 · 982 阅读 · 0 评论 -
GRU与LSTM总结
一、LSTM(长短期记忆网络)LSTM是一种特殊的RNN类型,一般的RNN结构如下图所示,是一种将以往学习的结果应用到当前学习的模型,但是这种一般的RNN存在着许多的弊端。举个例子,如果我们要预测“the clouds are in the sky”的最后一个单词,因为只在这一个句子的语境中进行预测,那么将很容易地预测出是这个单词是sky。在这样的场景中,相关的信息和预测的词位置之间的间隔是非常小的,RNN 可以学会使用先前的信息。标准的RNN结构中只有一个神经元,一个tanh层进行重复..转载 2021-10-18 18:15:38 · 455 阅读 · 0 评论 -
矩阵完备和张量完备
斜风细雨作小寒,淡烟疏柳媚晴滩。入淮清洛渐漫漫。雪沫乳花浮午盏,蓼茸蒿笋试春盘。人间有味是清欢。---- 苏轼低秩矩阵恢复是稀疏向量恢复的拓展,二者具有很多可以类比的性质。首先,稀疏是相对于向量而言,稀疏性体现在待恢复向量中非零元素的数量远小于向量长度;而低秩是相对于矩阵而言,低秩体现在矩阵的秩远小于矩阵的实际尺寸。其次,稀疏向量恢复问题可以转化为基于 ℓ1范数是 ℓu 的最佳凸包络;而矩阵的核范数在一定条件下也是矩阵秩的最佳凸近似,因此,也可以利用这一性质将低秩矩阵恢复问题松弛为一个凸问题来求转载 2021-10-05 11:33:52 · 1155 阅读 · 0 评论 -
图卷积神经网络(GCN)
前言 转自:「阿泽的学习笔记」。 断断续续写了一个多星期,期间找了很多同学讨论学习,感谢指导过点拨过我的同学们,为了精益求精本着不糊弄别人也不糊弄自己的原则在本文中探讨了很多细节。当然,还有很多细节没提到,包括总变差(Total Variation)、空域和频域视角下的图信号等,有兴趣的同学可以深入了解下图信号处理,本人才疏学浅还希望抛砖引玉引出更多的 GCN 的文章。 ...转载 2021-09-27 19:33:14 · 5643 阅读 · 0 评论 -
SVD在推荐系统中的应用
1.SVD简介SVD 技术是线性代数中的一种用于降低数据维度的矩阵分解技术,将高维的用户-项目评分矩阵分解成了低维的用户特征向量矩阵、项目特征向量矩阵以及包含奇异值的对角矩阵。2.关于SVD的分解原理说明:具体的特征值、SVD分解的几何意义请参考博客。奇异值分解(SVD)原理与在降维中的应用 - 刘建平Pinard - 博客园奇异值分解(Singular Value Decomposition,以下简称SVD)是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推.转载 2021-09-26 16:54:20 · 1444 阅读 · 0 评论 -
强化学习基础知识详解
强化学习基本概念强化学习四要素:状态(state)、动作(action)、策略(policy)、奖励(reward)。名词 解释 智能体 学习器与决策者的角色。 环境 智能体之外一切组成的、与之交互的事物。 动作 智能体的行为表征。 状态 智能体从环境获取的信息。 奖励 环境对于动作的反馈。 策略 智能体根据状态进行下一步动作的函数。 状态转移概率 智能体做出动作后进入下一状态的概率。 RL考虑的是智能体(Agen.转载 2021-09-25 22:10:36 · 5479 阅读 · 1 评论 -
增量学习(Incremental Learning)小综述
文章转自公众号:NewBeeNLP,作者:Maple小七1. 增量学习的概念1.1 什么是增量学习人类有终身不断获取、调整和转移知识的能力,虽然在我们的一生中,我们确实倾向于逐渐忘记之前学习过的知识,但只有在极少的情况下,对新知识的学习会灾难性地影响已经学到的知识,这样的学习能力被称为增量学习的能力。具体来讲,「增量学习的能力就是能够不断地处理现实世界中连续的信息流,在吸收新知识的同时保留甚至整合、优化旧知识的能力。」增量学习(Incremental Learning)已经有20..转载 2021-06-15 15:35:12 · 750 阅读 · 0 评论 -
域适应综述
深度域适应综述_一般情况与复杂情况(学习笔记)文章目录深度域适应综述_一般情况与复杂情况(学习笔记)图释摘要概述文章主要内容1.迁移学习概述1.1 迁移学习, 域适应以及深度域适应的形式化定义迁移学习域适应深度域适应域适应与迁移学习的关系1.2 影响目标域任务性能的因素——泛化误差1.3 负迁移2 深度域适应2.1 基于领域分布差异的方法2.1.1 基于统计准则的方法⭐⭐⭐(1)MMD(Maximum Mean Discrepancy, 最大均值差异)(2)CORAL(转载 2021-06-01 10:02:53 · 5428 阅读 · 0 评论 -
从RNN到LSTM
【模型解读】浅析RNN到LSTM本文转载自知乎为言有三的模型解读源地址为:https://zhuanlan.zhihu.com/p/55949716原文作者:知乎言有三,公众号《有三AI》号主,书籍作者,AI/摄影/羽毛球/电影卷积神经网络使用固定大小的矩阵作为输入(比如一张图片),然后输出一个固定大小的向量(比如不同分类的概率),适合于图像分类,目标检测,图像分割等。但是除了图像外,还有非常多的信息是非固定长度或者大小的,比如视频,语音,此时更加适合用来处理这些时序信号的网络就是一些时间序列模转载 2021-04-18 22:08:14 · 332 阅读 · 0 评论 -
深度学习领域最常用的10个激活函数,一文详解数学原理及优缺点
深度学习领域最常用的10个激活函数,一文详解数学原理及优缺点转自:数据派THU激活函数是神经网络模型重要的组成部分,本文作者Sukanya Bag从激活函数的数学原理出发,详解了十种激活函数的优缺点。激活函数(Activation Function)是一种添加到人工神经网络中的函数,旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型,激活函数最终决定了要发射给下一个神经元的内容。在人工神经网络中,一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。标准的计算机芯片电路可以转载 2021-03-21 15:51:45 · 784 阅读 · 0 评论 -
使用Pytorch在卷积层上实现张量分解的方法
如何用张量分解加速深层神经网络?(附代码)本文转载自雷锋字幕组编译的技术博客源地址为:https://www.leiphone.com/news/201802/tSRogb7n8SFAQ6Yj.html原英文博客标题Accelerating deep neural networks with tensor ecompositions,作者为Jacob。原文翻译 | 林立宏 原文整理 | 凡江背景在这篇文章中,我将介绍几种低秩张量分解方法,用于在现有的深度学习模型中进行分层并使其更紧凑。转载 2021-04-07 22:21:28 · 2674 阅读 · 3 评论