- 博客(35)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 非光滑函数的近端算法、Mirror Descent、对偶优化、光滑化、以及其加速算法
非光滑函数的近端算法、Mirror Descent、对偶优化、光滑化、以及其加速算法
2023-07-04 16:25:22
684
原创 Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning
联邦学习是一种新兴的研究范式，可以在不同组织之间进行机器学习模型的协作训练，同时保持每个机构的数据隐私。尽管最近取得了进展，但仍然存在一些根本性的挑战，例如缺乏收敛性，以及在现实世界的异构设备之间发生灾难性遗忘的可能性。在本文中，我们证明了基于自注意的架构(例如transformer)对分布转移更健壮，从而改善了异构数据的联邦学习。具体来说，我们对一系列联邦算法、真实世界基准测试和异构数据分割的不同神经架构进行了首次严格的实证调查。我们的实验表明，简单地用变形金刚取代卷积网络可以大大减少之前设备的灾难性遗忘
2023-03-11 00:39:20
420
原创 No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data
在这项工作中，我们提供了一个新的视角来理解为什么在联邦学习中使用非iid数据训练时，基于深度学习的分类模型的性能会下降。我们首先解剖神经网络，并通过最近的表示分析技术研究不同客户端上模型不同层的相似性。我们观察到，不同局部模型的分类器的相似性低于任何其他层，并且分类器之间存在显著的偏差。然后，我们提出了一种名为虚拟表示分类器校准(CCVR)的新方法，该方法从近似高斯混合模型(GMM)中采样虚拟特征用于分类器校准，以避免将原始特征上传到服务器。在三个图像数据集上的实验结果表明，CCVR比几种流行的联邦学习
2023-03-10 13:10:52
557
1
原创 ProxSkip: Yes! Local Gradient Steps Provably Leadto Communication Acceleration! Finally!
联邦学习
2023-03-08 21:22:02
277
原创 联邦学习与标签分布歪斜通过Logits校准Federated Learning with Label Distribution Skew via Logits Calibration
联邦学习
2023-03-06 13:45:20
1517
1
原创 Exploiting Shared Representations for Personalized Federated Learning利用共享表示实现个性化联邦学习
联邦学习个性化
2023-03-05 20:41:28
748
原创 Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning局部学习很重要！
联邦学习
2023-03-05 17:18:47
548
原创 联邦学习中潜在信息泄漏的分层表征LAYER-WISE CHARACTERIZATION OF LATENT INFOR-MATION LEAKAGE IN FEDERATED LEARNING
联邦隐私
2023-03-05 16:49:38
168
原创 联邦学习专题：Layer-wised Model Aggregation for Personalized Federated Learning 个性化联邦学习分层模型聚和
个性化联邦学习(pFL)不仅可以从广泛的分布式数据中捕获公共先验，而且还支持针对异构客户端的定制模型。过去几年的研究采用加权聚合的方式生成个性化模型，通过校准整个模型参数或损失值的距离来确定权重，尚未考虑对聚合过程的层级影响，导致模型收敛滞后，在非iid数据集上个性化不足。在本文中，我们提出了一种新的pFL训练框架，称为分层智能个性化联邦学习(pFedLA)，可以从不同的客户端中识别每一层的重要性，从而能够优化具有异构数据的客户端的个性化模型聚合。具体来说，我们在服务器端为每个客户端使用一个专用的超级网络，
2023-03-05 16:28:56
2415
原创 链路预测的定义与方法
动态网络的链路随时间的增加而变化，连边使其预测比静态网络更具挑战，如何准确地预测动态网络中潜在的或未来的链路已经受到了广泛地关注现有的许多动态网络链路预测方法利用历史网络信息并将其压缩成一个网络来预测下一时刻的网络结构。最典型的方法是基于相似性的动态链路预测，最常见的比如共同邻居CN等．基于机器学习的方法也应用于计算链路预测的最佳相似性，但通常优化方法的计算复杂度较高，容易受到现有的相似性指标的限制．网络 嵌 入 的 方 法 也 通 常 用 于 链 路 预 测...
2021-10-06 11:20:44
4877
2
原创 人脸识别cv
代码githubwindows安装教程1.如果你想使用你的网络摄像头，你可以在命令行中尝试（例如：anaconda prompt，考虑本地文件 face_recognition 中的当前路径）：.- cd examples.- python facerec_from_webcam_faster.py2.python face_detection.py ./examples/obama.jpgface_detection .//examples//obama.jpgface_re
2021-09-14 14:40:07
101
原创 python类
1、类包含属性和方法类是属性和方法的组合，所以语句1可能是内部变量(数据、属性)的定义和赋值语句，也可能是内部方法(函数)的定义语句 ⑴一个对象的特征称为"属性" ⑵一个对象的行为称为"方法" ⑶属性在代码层面上来看就是变量，方法实际就是函数，通过调用这些函数来完成某些工作2.类对象支持两种操作：属性引用和实例化在未实例化类时(my_class = MyClass()前)，只是定义了类对象的属性和方法，此时其还不是一个完整的对象，将定义的这些称为类(抽...
2021-09-14 00:11:05
1380
原创 GAN对抗神经网络
入坑GAN，首先需要理由，GAN能做什么，为什么要学GAN。GAN的初衷就是生成不存在于真实世界的数据，类似于使得 AI具有创造力或者想象力。应用场景如下：AI作家，AI画家等需要创造力的AI体；将模糊图变清晰(去雨，去雾，去抖动，去马赛克等)，这需要AI具有所谓的“想象力”，能脑补情节；进行数据增强，根据已有数据生成更多新数据供以feed，可以减缓模型过拟合现象。以上的场景都可以找到相应的paper。而且GAN的用处也远不止此，期...
2021-09-13 16:18:17
248
原创 卷积神经网络CNN
1.卷积层cs231n课程中有一张卷积动图，貌似是用d3js 和一个util 画的，我根据cs231n的卷积动图依次截取了18张图，然后用一gif 制图工具制作了一gif 动态卷积图。如下gif 图所示（先相乘再相加）其中图像有三个通道，卷积核也有3通道（每一个卷积核）7*7*3的含义（其中7*7代表图像的像素/长宽，3代表R、G、B 三个颜色通道）两个神经元，即depth=2，意味着有两个滤波器。数据窗口每次移动两个步长取3*3的局部数据，即stride=2。zero-padding.
2021-09-13 09:54:18
239
原创 常用函数和代码
1.加载数据函数&数据保存import numpy as npimport dill#dill.dump_session('GAT.pkl')dill.load_session('t20.pkl')save_path = "../../data/Enron/graph.pkl"with open(save_path, "wb") as f: pkl.dump(graphs, f)print("Processed Data Saved at {}".format(sa.
2021-09-09 12:21:32
1703
原创 技术融合文章总结
1.技术融合基本理论与方法研究 张静 张志强虽然学者们对技术融合现象有了较为广泛的认同，但对其概念尚未形成统一的认识，其英文表达方式主要以 technological convergence和 technological fusion 为主，也有文献从对象运动的角度对两者的区别做了辨析。概念：融合不同的技术形成占优势的设计从领域间关系变化的角度来说，融合是指至少两个可辨认的事物走向统一或一致，或不同的技术、设备或产业合并为一个整体...
2021-09-06 23:06:24
1134
原创 基于图神经网络 链路预测
【ICLR2020】基于图神经网络的归纳矩阵补全[图表示学习] 1 链路预测问题文献总结[图表示学习] 2 动态图(Dynamic Graph)最新研究总结（2020）[图表示学习]动态网络上的图神经网络文献阅读总结：网络表示学习跟着官方文档学DGL框架第十天——训练图神经网络之链接预测[论文笔记]：GraphSAGE：Inductive Representation Learning on Large Graphs 论文详解 NIPS 2017【图结构】之图注意力网络GAT详.
2021-09-04 01:34:29
4133
原创 GCN学习总结
参考：最通俗易懂的图神经网络（GCN）原理详解假设我们手头有一批图数据，其中有N个节点（node），每个节点都有自己的特征，我们设这些节点的特征组成一个N×D维的矩阵X，然后各个节点之间的关系也会形成一个N×N维的矩阵A，也称为邻接矩阵（adjacency matrix）。X和A便是我们模型的输入。GCN也是一个神经网络层，它的层与层之间的传播方式是：这个公式中：A波浪=A+I，I是单位矩阵，加单位矩阵是因为要融合自己节点的特征。 D波浪是A波浪的度矩阵（degr...
2021-09-04 01:13:07
552
原创 基于机器学习的深度语义分析的预测新技术收敛性的方法
文章：Machine-learning-based deep semantic analysis approach for forecastingnew technology convergenceTae San Kim, So Young Sohn⁎Department of Information and Industrial Engineering, Yonsei University, 134 Shinchon-dong, Seoul 120-749, Republic of Korea
2021-09-02 23:57:29
749
原创 动态的链路预测问题
1.1 静态网络的链路预测大多数算法都是将静态网络在特定时间段内进行预测，从而忽略了网络的时间特性。在静态网络中，链路预测是对网络中某一时刻缺少的链路进行预测，以获得网络的全貌2.2 Temporal Link Prediction: Problem Definition时间链路预测定义让G = (V, E)是一个动态的网络,V是顶点的集合和每条边(u, V) E代表u和V之间的联系的快照G表示为G1, G2,……从时间步骤1到t，我们如何预测下一个时间步骤Gt+1的网络。DySAT: ..
2021-09-01 22:17:58
3134
原创 Tracing the technological development trajectory in post-lithium-ionbattery technologies
摘要：：首先，根据 客观数据的见解，确定了后锂离子电池技术目前的研究趋势和前景，帮助研发规划者确定其进一步的 研发方向。对后锂离子电池技术发展轨迹的探索，可以为相关研究人员更好地了解动态和战略调整提 供参考，对清洁能源和绿色化学的发展具有深远的意义。其次，它发现了交互知识领域的动态，这表 明技术收敛的趋势增加。在锂空气和锂硫电池的情况下，观察到有关核心电池组件（电池配置和电解 质)的知识领域与应用驱动的知识领域(电动汽车和电话）之间存在显著的相互作用。在钠离子电技 术的情况下，这些相互作用的强度相当弱。
2021-09-01 03:26:31
243
原创 太阳能潜在知识收敛性的预测：基于链接预测模型的文献 计量学分析
新兴技术的创新和发展主要依赖于知识融合的方式，即以前不同的领域专业知识的 模糊。本文以太阳能场为例，探讨知识收敛的潜在动机和知识收敛规律。我们在 2008-2017年建立了太阳能文献的关键词共现网络，然后引入链接预测来研究知识收敛的结构机制。我们发现：（1）共邻指数更好地表征了四个相似指标之间的知识收敛模式。（2)关键词共现网络可以简单地挖掘知识收敛的结构特征；(3)太阳能领域知识的收敛周期约为4年；(4)具有较高中间性中心性或特征向量中心性的关键词容易生成知识收敛；(5)基于这些结果提出了...
2021-09-01 02:31:12
229
原创 利用大数据技术预测大规模三联专利的技术融合模式
摘要：理解技术融合成为追求创新和经济增长的关键。本文试图通过将关联规则和链接预测联合应用于1955年至2011年期间 与三合会专利相关的整个IPC，来预测技术融合的模式。我们进一步使用一个主题模型来发现预测的技术融合的新兴领域。结果表明，医学领域处于趋同的中心，我们预测治疗呼吸系统/血液/感觉障碍的技术与基因工程/肽/杂环化合物 的技术有关。在消除了大多数收敛性后，我们发现了激活催化剂、印刷、先进网络、控制设备、与内存系统的安全通信 、具有模式识别的电视系统以及图像处理和分析技术之间的收...
2021-09-01 01:58:12
142
原创 预测技术收敛性的监督链路预测方法的有效指标及分类算法：比较研究
摘要：本文进行了比较分析，研究了不同的分类算法和结构相似性指标对监督链路预测方法预测不同预测范围内技术收敛性能的影响。为此，我们确定了不同时间段内感兴趣的技术之间的关系，并计算了每个时期内未连接技术之间的10个结构接近度指数。我们开发了一套分类模型，以识别未连接技术之间的潜在收敛性，其中每个模型通过一个分类算法和接近度索引的组合进行不同的配置。我们比较了分类模型的性能，以研究分类算法和接近指数在不同预测范围内的有效组合。对维基百科关于人工智能技术的文章的实证分析表明，随机森林在短期预测中优于其他森林
2021-08-31 21:39:35
251
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人