
2023数据交易
文章平均质量分 79
数据已经成为第五类生产要素,数据交易可以有效发挥数据价值,释放数据要素潜力。但数据又具有高敏感性的特点,承载着复杂的权利内容和权利主体,故数据交易需要限定在特定范围内,并遵循特有的规则规范
ZhangJiQun&MXP
本人在读博士,研究大模型,数据交易,联邦学习领域
每天帮助你们总结前言论文以及个人遇到问题。
投稿Expert Systems with Applications历时4个月;中科院1区顶刊,本人在科研一线,在文章架构设计,公式编辑,图片美化,语言润色。overleaf编辑方面有一定经验,直接订阅后私信本人可以协助完成投稿返修。https://blog.csdn.net/qq_38998213/article/details/146232131?sharetype=blogdetail&sharerId=146232131&sharerefer=PC&sharesource=qq_3899821
展开
-
Excel 中让表格内容自适应列宽和行高
在Excel中让表格内容自适应列宽和行高,可参考以下操作:原创 2025-04-16 14:59:52 · 220 阅读 · 0 评论 -
我们自己的想法才是自己的囚牢
同时,我们也要意识到,在这个广袤的世界里,每一个“我”都是独特的个体,无数个“我”共同构成了丰富多彩的人类社会。在生活的漫漫征途中,我们常常不自觉地陷入一种无形的困境,殊不知,真正束缚我们的,并非外界的艰难险阻,而是我们内心深处那些固执坚守的想法。的渴望驱使,一心只盯着那遥不可及的目标,满心都是不达目的不罢休的执念,却忽略了沿途的美好风景,忘却了生活中那些简单纯粹的快乐。其实,只要我们试着换个角度,放下那些不必要的执着,看开一切,便能发现,曾经那些让我们辗转难眠的烦恼,不过是过眼云烟,一切都可以云淡风轻。原创 2025-02-19 23:09:57 · 41 阅读 · 0 评论 -
AI agent 在数据交易领域中的应用
在数据交易中,从数据的收集、整理到交易流程的执行,都可以由 AI agent 高效完成。例如,在数据收集阶段,AI agent 可以根据预设的规则和目标,快速从海量的数据源中筛选出符合要求的数据,极大地缩短了数据准备时间。同时,在涉及敏感数据交易时,AI agent 能够确保数据的使用符合相关法律法规和隐私政策,防止数据泄露和滥用。通过对市场上类似数据交易案例的分析,以及实时的市场动态监测,AI agent 能够动态调整数据价格,确保买卖双方在公平合理的价格基础上进行交易。AI agent 可以通过。原创 2025-01-19 21:40:13 · 58 阅读 · 0 评论 -
凸优化简单理解
凸优化问题是一类特殊的数学优化问题,其目标函数是凸函数,且约束条件构成的可行域是凸集。由于凸函数的局部最优解就是全局最优解,因此凸优化问题相对容易求解。在实际应用中,凸优化问题广泛出现在机器学习、信号处理、通信网络等领域,并有着多种高效的求解算法。原创 2024-10-08 20:22:51 · 455 阅读 · 0 评论 -
揭秘联邦学习:算力差异下的智慧调度与多收益策略
同时,通过冗余设计和故障恢复机制等技术手段,系统能够应对不同算力客户端的加入和退出以及网络波动等不确定因素,确保整个联邦学习系统的稳定运行。然而,算力差异如同一座座无形的山峦,横亘在我们面前,如何跨越这道鸿沟,让每位用户都能发挥出最大的价值?而算力稍弱的客户端,也能在轻松的氛围中,完成适合自己的任务。同时,模型分割技术更是将模型拆解成多个部分,根据客户端的算力情况量身定制,让每个客户端都能在自己的能力范围内发挥出最大的价值。而算力较弱的客户端,则更像是在进行轻松的慢跑,享受着每一次任务带来的成就感。原创 2024-10-08 09:54:04 · 148 阅读 · 0 评论 -
联邦学习处理不同用户算力差异的方法
在联邦学习中,不同用户的算力差异是一个需要仔细考虑的问题。由于联邦学习涉及多个分布式节点(即多个用户或设备),这些节点的计算能力可能各不相同,因此需要对算法和系统设计做出相应的调整。综上所述,处理联邦学习中不同用户算力差异的方法包括客户端选择策略、异步聚合、模型压缩、增加客户端训练轮数、联邦迁移学习和优化算法等。这些方法可以根据实际情况进行组合和调整,以最大程度地提高联邦学习的效率和效果。原创 2024-10-08 09:53:21 · 140 阅读 · 2 评论 -
数据和算力共享:数据计算共享系统
最后通过本文方法与两种数据共享系统的方法进行了验证对比,证明本方法对跨域数据计算共享效率的提升。针对数字化应用实践中需要在不同的物理域和信息域中进行数据的访问交换以及共享计算等需求,本文分析了在数据平台、数据集成系统以及信息交换系统中存在的问题。联邦学习通过共享数据计算结果,能够在一定程度上保护数据所有者的隐私以及对数据的控制权,然而联邦学习的研究和开发还在初级阶段,其中的关键问题还有待解决。据此,基于联邦学习的思想,本文提出一种跨域数据计算共享系统,并对系统中的数据管理、算力管理等关键模块进行了设计。原创 2024-10-06 23:05:09 · 256 阅读 · 0 评论 -
揭秘联邦学习:模型参数聚合的奥秘与实战案例
在联邦学习的神秘世界里,模型参数的聚合频率、时机以及顺序,宛如一场精心编排的舞蹈,背后隐藏着无数智慧与策略。这些因素不仅关乎算法的效率与准确性,更与联邦学习系统的整体性能、通信成本、模型复杂度以及隐私保护需求息息相关。今天,就让我们一起揭开这层面纱,深入探讨这一领域的奥秘,并通过一个生动的实战案例,带你领略联邦学习的独特魅力。在联邦学习的舞台上,模型参数的聚合频率就像是一场精心策划的博弈。它并非一成不变,而是根据算法设计者的智慧与需求灵活调整。以FedAvg算法为例,原创 2024-10-04 16:58:12 · 363 阅读 · 0 评论 -
揭秘联邦学习:每个Epoch不进行梯度回传,你的模型还能保持顶尖吗?
今天,我们就来深入探讨一个关键问题:在联邦学习中,如果每个Epoch都不进行梯度回传,会对最终效果产生怎样的影响?为了确保你的模型能够充分学习到各个客户端数据集中的信息并保持良好的泛化能力,请务必在联邦学习过程中保持适当的梯度回传频率和模型更新策略。然而,如果每个客户端只在最后一个Epoch后更新模型,服务器接收到的模型更新可能会变得单调乏味,缺乏多样性。虽然这里的梯度回传并非指将每个梯度步骤都实时传输到服务器,而是指将本地模型与上一轮服务器的全局模型之间的增量(即模型更新)进行传输。原创 2024-10-03 21:29:17 · 150 阅读 · 0 评论 -
关于联邦学习 每个参与者的 每次epoch结果是否需要聚合;联邦学习流程
定义:联邦学习可以在产生数据的设备上进行大规模的训练,并且这些敏感数据保留在数据的所有者那里,进行本地收集、本地训练。在本地训练后,中央的训练协调器通过获取分布模型的更新获得每个节点的训练贡献,但是不访问实际的敏感数据。目的:训练来自多个数据源的单个模型,其约束条件是数据停留在数据源上,而不是由数据源(也称为节点、客户端)交换,也不是由中央服务器进行编排训练(如果存在的话)。原创 2024-10-03 18:09:23 · 152 阅读 · 0 评论 -
社保基金:底部定价完成,沉没成本启动
在社保基金投资股票的过程中,这些机构会参与股票的市场交易,既有资金的流入,也有资金的支出。在大多数情况下,社保基金持有较大的股票比例,这意味着他们在市场上的影响力很大。社保基金的行为对于股票市场的波动和走势也有一定的影响,这是股票市场中不能忽视的一个因素。指的是由政府部门或社会团体所管理的一项基金。在股票市场中,社保基金是指专门以管理社保基金为主要职责的机构购买股票的基金。指数采用以行业均衡为核心的编制方法,从各行业选取500只市值较大证券作为指数样本,提升市值规模指标选样下指数的行业分布均衡度。原创 2024-10-03 17:11:17 · 180 阅读 · 0 评论 -
数据价值评估和利益分配方法
为了充分发挥数据要素的价值,推动产业结构优化和升级,需要构建一个公平、高效的数据要素市场。而数据要素按价值贡献参与分配机制正是这一市场构建的核心环节,它有助于激发数据要素市场的活力,促进数据的交易和流通,为经济高质量发展注入新的动力。通过完善法律法规、建立数据价值评估体系、加强监管与执法、推动技术创新与应用以及加强国际合作与交流等措施,我们可以期待这一机制在未来发挥更大的作用,为数字经济的发展注入新的活力。同时,还需要加强监管和执法力度,打击数据交易中的违法违规行为,维护数据要素市场的公平、公正和秩序。原创 2024-10-03 17:00:13 · 249 阅读 · 0 评论 -
数字中国建“2522”整体框架
综上所述,《数字中国建设整体布局规划》中的“2522”整体框架为数字中国建设提供了清晰的方向和路径,旨在推动数字技术与经济社会各领域深度融合,全面提升数字中国建设的整体性、系统性、协同性。原创 2024-10-03 16:52:09 · 642 阅读 · 0 评论 -
数据交易平台中,怎样用大模型做数据集质量的评估
为了量化数据集的质量,数据交易平台需要定义一系列评估指标。这些指标可以包括数据的完整性、准确性、一致性、时效性等。例如,可以计算数据集中缺失值的比例、错误数据的比例、不同字段之间的一致性程度等。原创 2024-09-30 22:28:43 · 340 阅读 · 0 评论 -
揭秘联邦学习与知识蒸馏:医疗诊断领域的隐私保护新策略
假设有两家医疗机构A和B,它们各自拥有患者的医疗数据。在联邦学习的框架下,A和B分别训练了自己的教师模型,并在公共数据集上输出了预测概率分布。这些预测结果,就像是教师们的智慧结晶,被传送到了中央服务器。中央服务器就像是一位公正的裁判,它收集并聚合了这些预测结果,形成了一个全局的预测概率分布。然后,这个全局的智慧结晶又被分发回A和B,它们的学生模型便根据这些全局信息进行训练。原创 2024-09-30 20:07:33 · 382 阅读 · 0 评论 -
大模型压缩3种方式;模型大小的计算;知识蒸馏:利用教师的输入输出,训练调整学生的小模型
知识蒸馏是一种常见的异构模型集成方法。通过训练多个异构模型,并将每个模型的输出(即预测结果)作为知识进行提取,然后训练一个统一的学生模型来模拟这些教师的输出。这种方法可以实现异构模型的集成和协同训练。原创 2024-09-30 20:06:52 · 120 阅读 · 0 评论 -
联邦学习中的模型异构 :知识蒸馏
想象一下,在联邦学习的广阔舞台上,每个参与者都拥有自己独特的“武器”——不同的模型结构和训练方法。这就是模型异构!它可能源于卷积神经网络CNN与递归神经网络RNN的激烈对决,也可能源于学习率大小的微妙差异,甚至可能源于数据预处理方法的独特选择。随着数据隐私和安全问题的日益凸显,传统的集中式机器学习方法已经无法满足现代社会的需求。而联邦学习,作为一种新兴的分布式机器学习方法,正悄然改变着这一切。它将模型训练过程分布在多个参与者设备上,有效解决了数据隐私和安全问题。然而,这也带来了一个全新的挑战:模型异构性。原创 2024-09-30 17:25:27 · 535 阅读 · 0 评论 -
揭秘生物进化原理的神奇应用:最小核法(进化算法)如何求解复杂函数优化问题?
交叉操作:在交配池中,我们通过交叉操作来生成新的个体。这个过程就像自然界中的交配过程一样,将两个个体的部分基因进行交换,从而产生具有优良基因组合的新个体。变异操作:就像自然界中的基因突变一样,我们对新生个体进行一定概率的变异操作。这个过程有助于保持种群的多样性,防止算法陷入局部最优解。原创 2024-09-30 16:08:04 · 119 阅读 · 0 评论 -
揭秘博弈论中的神奇公式:夏普利值(Shapley Value),让你重新认识合作中的公平与贡献!
今天,我们要为你介绍一个来自博弈论的神秘武器——夏普利值(Shapley Value),它能够精准地衡量每个成员在合作中的贡献,并为你提供一个公平合理的分配方案!现在,我们需要根据联盟的大小(即联盟中成员的数量)来计算每个边际贡献的权重。但无论如何,它都为我们提供了一个公平、理性的方法来评估成员在合作中的贡献,并据此进行分配。这些值是通过考虑所有可能的联盟、每个成员的边际贡献以及相应的权重因子来计算的。对于丙的计算类似乙,但需要注意的是,由于联盟是无序的,所以甲加入{乙}和乙加入{甲}的边际贡献是相同的。原创 2024-09-30 15:57:14 · 472 阅读 · 0 评论 -
【揭秘】联邦学习中的“贡献度”大战:谁才是真正的MVP?
通过联合模型筛选样本并生成数据标签,它引入了参与节点的本地数据标签分布,从而平衡了非独立同分布数据标签对贡献度评估的影响。在保证数据隐私安全的同时,它还能生成大量高质量的测试数据,为参与联邦学习任务的节点提供公平的贡献度评估方法。但别忘了,它只考虑了参与者自身的价值,而没有考虑到他们为联邦整体带来的增益。今天,就让我们一探究竟,看看那些常用的评价贡献度的方式,它们究竟是如何在联邦学习中发挥作用的。它假设:如果移除某个参与方,联邦的数据价值就会减少,那么这个减少的部分就是这个参与方的贡献。原创 2024-09-30 15:32:29 · 174 阅读 · 0 评论 -
算力共享系统中数据平面和控制平面
业务流程定义:业务流程是指企业为实现特定业务目标而执行的一系列有序活动。在算力共享系统中,业务流程涵盖了从用户注册、任务提交、资源分配、任务执行到结果反馈的整个服务过程。原创 2024-09-28 20:04:22 · 449 阅读 · 0 评论 -
算力共享平台的控制流程,业务流程
在提供的计算机网络系统结构示意图和描述中,我们可以区分出控制流程和业务流程的组成部分。原创 2024-09-28 20:02:10 · 192 阅读 · 0 评论 -
揭秘未来实体经济新蓝海:商业模式创新与“隐形财富”的崛起
目录揭秘未来实体经济新蓝海:商业模式创新与“隐形财富”的崛起一、商业模式:从平凡到非凡的蜕变二、商业壁垒:筑起高墙,守护隐形宝藏三、无形的大钱:超越差价的盈利新境界:爆品引流(多元化服务用户需求,让用户感觉省钱了)四、爆品模式:流量洪流的引爆点五、后端多层盈利模式:利润的无限延伸原创 2024-09-24 15:34:30 · 88 阅读 · 0 评论 -
穿越《中国数据库前世今生》—— 一场技术与梦想的交响
一、从数据库看中国IT行业的崛起二、数据库行业的全球化趋势与本土化挑战三、数据库技术N年变迁史四、人工智能与大数据的融合五、云数据库:未来的数据存储解决方案六、深度探索数据库的世界原创 2024-09-13 16:05:49 · 1107 阅读 · 2 评论 -
联邦学习权重聚合,联邦学习权重更新
当你训练一个模型时,你可能会想要保存模型的参数以便将来使用,或者在不同的环境或机器上加载它们。是一个非常重要的方法,它用于获取模型的参数(即权重和偏置)作为一个有序字典(的键相同,并且值是模型参数的可变对象(例如TensorFlow的。),其中字典的键是各层参数的名称,字典的值是对应的参数张量(这里使用了简单的平均策略来聚合客户端的权重。首先,将第一个客户端的权重作为起点。在PyTorch框架中,以下是一些关于如何使用。原创 2024-06-13 22:33:45 · 627 阅读 · 0 评论 -
联邦学习的基本流程,联邦学习权重聚合,联邦学习权重更新
**1. server初始化模型参数,所有的clients将这个初始模型下载到本地;****2. clients利用本地产生的数据进行SGD训练;****3. 选取K个clients将训练得到的模型参数上传到server;****4. server对得到的模型参数整合,所有的clients下载新的模型。****5. 重复执行2-5,直至收敛或达到预期要求**原创 2024-06-13 22:33:35 · 660 阅读 · 0 评论 -
数据交易中公共物品属性
总之,本文在基于区块链的去中心化平台架构下,充分考虑了多数据需求方访问数据模型时的公共物品属性,提出了一种有效的激励机制和共识算法,旨在促进数据交易市场的公平、透明和可持续发展。然而,在数据交易市场中,这种特性可能导致“搭便车”现象,即某些数据需求方可能选择不参与数据模型的贡献和训练,而是直接利用其他方提供的模型,从而损害了数据供给方的利益。,旨在保护数据供给方的隐私和利益,同时确保数据模型的安全性和可信度。通过联盟区块链技术,确保报酬分配的公平性和可信性,从而激励数据供给方积极参与数据模型的训练和贡献。原创 2024-06-13 22:33:17 · 280 阅读 · 0 评论 -
采用沙普利值(Shapley value)实现了数据供给方报酬分配的公平性.
沙普利值(Shapley Value)是合作博弈论中的一个重要概念,用于衡量合作博弈中各个参与者对合作所创造的价值的贡献程度。它考虑了每个参与者与其他参与者的协作情况,并计算出他们对合作所创造的价值的边际贡献。由于参与个体的异质性,不同数据供给方在数据质量、数量、种类等方面存在差异,因此其。采用沙普利值实现数据供给方报酬分配的公平性,在交易模型中考虑参与个体的异质性与隐私保护,是一个有效的解决方案。可以确保每个数据供给方根据其实际贡献获得合理的报酬,从而实现报酬分配的公平性。一、沙普利值的概念与特点。原创 2024-06-13 11:33:44 · 211 阅读 · 0 评论 -
沙普利值的计算,沙普利值计算公式
沙普利值(Shapley Value)是一种用于衡量合作博弈中参与者贡献的方法,由美国经济学家威廉·沙普利(William Shapley)提出。原创 2024-06-13 11:15:31 · 700 阅读 · 0 评论 -
沙普利值是什么,和沙普利值相结合的更好办法
归纳起来,与沙普利值相结合的更好办法包括考虑风险分担、结合其他评估方法、优化计算效率、结合机器学习技术以及引入动态调整机制。这些方法可以根据具体情况进行选择和组合,以优化合作博弈的结果和资源分配的效率。原创 2024-06-13 11:08:03 · 215 阅读 · 0 评论 -
ECC(椭圆曲线密码学)和DH(迪菲-赫尔曼密钥交换)
需要注意的是,由于椭圆曲线上的运算具有特殊的性质,使得从公钥P推算出私钥k是非常困难的。总的来说,ECC和DH算法在密码学中各自发挥着重要作用,而它们的结合使用则提供了更高的安全性和更强的密钥管理能力。,它基于椭圆曲线数学上的难题,特别是椭圆曲线上的有理点构成的Abel加法群上椭圆离散对数的计算困难性。需要注意的是,密码学是一个复杂且专业的领域,对于涉及密码学的应用,建议咨询专业的密码学专家或查阅相关的专业文献,以确保应用的安全性和有效性。(在椭圆曲线加密的上下文中,这实际上是椭圆曲线上的点乘法)。原创 2024-04-23 22:44:53 · 489 阅读 · 0 评论 -
用python如何实现智能合约?如何使用remix编写solidity智能合约并部署上链
不根据位置进行匹配,而是根据abi这个关键字,进行方法匹配。看看账户里面的钱和remix里面一样说明链接成功了;重点是这个,获取智能合约方法。原创 2024-03-17 22:08:08 · 948 阅读 · 0 评论 -
举例说明ECC;ECC算法理论,ECDHE;ECC(椭圆曲线密码学)和DH(迪菲-赫尔曼密钥交换)
在解密过程中,Alice使用她的私钥 k 来计算 k(rG)。由于椭圆曲线上的数乘运算满足分配律,即 a(bG)=(ab)G,我们可以将 k(rG) 重写为 (kr)G。现在,Alice从加密的点 C 中减去 k(rG),即:C−k(rG)=(M+rK)−(kr)G=M+r(kG)−(kr)G=M+rkG−krG=M+(rk−kr)G=M+0G=M原创 2024-03-13 11:23:00 · 1063 阅读 · 1 评论 -
纳什均衡分类
而在不完全信息动态博弈中,又强化了完全信息动态博弈子博弈的概念,将开始于单节信息集的子博弈扩展与可以开始于任何完全信息集,进而引入了beliet的概念不仅要求最优战略从给定的belief得出,belief也要符合贝叶斯规则,因此完美贝叶斯纳什均衡是限制条件最强的纳什均衡。在不完全信息静态博弈中,由于参与者不能完全了解对方的效用函数,因此引入了type的概念,相应的均衡策略要求对于每一可能出现的type,均需要给出相应的最优行动,即最优行动为type的函数;四种博弈的限制条件不同,复杂博弈的限制条件更强。原创 2024-03-04 21:27:49 · 430 阅读 · 0 评论 -
数据要素市场化建设,贝叶斯纳什均衡是博弈论 的一个概念
因此,要从数据价值链、数据产品开发、数据生态、数据生命周期等视角,对数据交易机构的功能与发展模式进行全面完善,从而推动数据交易市场高质量发展。立足于我国数据交易市场实际,应通过明确数据交易机构的地位、建立监管机制、扩大数据交易市场规模等政策措施,推动我国数据交易机构高质量发展。排他性专有权配置路径面临权利客体不确定、理论依据不充足等质疑,并客观上制约了数据流通,应该选择适合数据特征的新型权利路径,保护数据持有者的合法权利以建立安全有序的数据生产秩序,以数据访问利用为基础构建有效的数据流通秩序。原创 2024-01-30 22:04:35 · 191 阅读 · 0 评论 -
DID身份系统:现状、概念与重要性
简单来说,去中心化标识符(DID)是一个字符串形式的 URI, 具有全局唯一性、高可用性、可解析性和加密可验证性,对任何受益于自管理、加密可验证标识符——如个人身份、组织身份、链上活动历史、物联网场景等的应用程序都大有裨益,也可用以标识其他形式的主体——如产品或是一些不存在的东西,譬如想法或概念等。好比 Ethereum 和 Polygon 之类的很多区块链平台都在关注 DID,但目前都在试验阶段,还没有一方给出系统化的方案。原创 2024-01-24 16:39:57 · 409 阅读 · 0 评论 -
基于区块链的算力并网交易平台研究报告(2023)
随着人工智能、大数据、元宇宙等技术的快速发展,算力作为新时代的核心生产力,对于推动数字化、信息化时代的国民经济发展具有重要积极的作用。2021年5月,国家四部委发布《全国一体化大数据中心协同创新体系算力枢纽实施方案》,提出“东数西算”架构,打通网络传输,提升跨区域算力调度水平。为了更好的调度算力资源,将计算、存储、传输基础设施与区块链网络进行整合,利用区块链防篡改、可追溯、分布式的特性,为算力资源的调度和交易提供保障支持。原创 2024-01-23 16:02:00 · 1271 阅读 · 1 评论 -
DID——归还用户的数据主权 ,什么是 VC,ZKP(零知识证明)
简单来说,去中心化标识符(DID)是一个字符串形式的 URI, 具有全局唯一性、高可用性、可解析性和加密可验证性,对任何受益于自管理、加密可验证标识符——如个人身份、组织身份、链上活动历史、物联网场景等的应用程序都大有裨益,也可用以标识其他形式的主体——如产品或是一些不存在的东西,譬如想法或概念等。好比 Ethereum 和 Polygon 之类的很多区块链平台都在关注 DID,但目前都在试验阶段,还没有一方给出系统化的方案。原创 2024-01-23 15:23:42 · 580 阅读 · 0 评论 -
联邦学习中聚合算法可能怎样创新,智慧农业结合什么数学理论或知名理论实现创新并发表文章
智慧农业可以结合多种计算机理论实现创新,并发表相关文章。原创 2024-01-07 19:07:51 · 1298 阅读 · 0 评论 -
利息的来源与本质是什么,股市跌的钱去哪里了
拿走了:上市公司股东会配合二级市场主力进行借势营销,当股票价格在高位的时候控股股东十分准确的逢高套现,售出股权。控股股东在股票价格高位套现,最终苦的就是低位接任的散户,散户的钱成功被控股股东套住了,,真正流到股票销售市场的财产非常少,若是100人民币最多剩下2人民币,别的98人民币被以上角色拿走,股票市场剩下的2人民币被散户分走了,用大鱼吃小鱼,鱼儿吃虾这类方法,使得一般散户赔本。,是股票的炒作者,机构会使用各式各样方式让散户赔本,让散户亏的钱到这类机构里,因而机构也拿走了一部分财产。原创 2023-12-14 22:29:23 · 238 阅读 · 0 评论