宋罗世家技术屋
畅游在IT技术的蓝色海洋!欢迎咨询毕设、论文、源代码、期刊等业务!如您下载的资源或购买的专栏文章有质量、准确性、完整性(公式)等问题,还请私信我们,我们竭诚为您服务。
展开
-
基于参考图语义匹配的花卉线稿工笔效果上色算法
摘 要 研究基于参考图像的花卉线稿图的工笔效果上色问题.现有的基于参考图像的线稿图上色算法对工笔花卉画特有的色彩渐变的特点难以学习和模拟;原创 2024-07-04 19:39:01 · 30 阅读 · 0 评论 -
基于kd-MDD的时序图紧凑表示
摘 要 时序图是顶点之间的连通性随时间变化的图,大规模时序图的紧凑表示和高效操作是分析和处理时序图数据的基础.提出了一种基于决策图的时序图数据紧凑表示方法——kd-MDD.kd-MDD是对kd-tree的改进,该方法对时序图的邻接矩阵进行kd划分,通过引入多值决策图来合并相同子矩阵,即kd-tree图数据表示中存在的同构子树,存储结构更加紧凑.在kd-MDD紧凑表示基础上,提供了基于kd-MDD的时序图的基本操作(如顶点正向/反向邻居的检索、边是否处于活动状态的检查、边的添加和删除等).在真实的时序图数据集原创 2024-07-04 19:37:51 · 30 阅读 · 0 评论 -
基于改进的樽海鞘群算法求解机器人路径规划问题
摘 要 为了探索出更好解决机器人路径规划问题的方法,提出一种差异演化的寄生樽海鞘群算法.首先在领导者位置更新公式中加入对应的上一代领导者位置信息,加强全局搜索的充分性,同时引入自适应惯性权重,更好平衡领导者在不同进化阶段对于广度和深度搜索的不同需求,提高寻优精度.然后在算法结构中引入具有不同演化策略和寄生行为机制的寄生-宿主双种群及宿主群劣汰思想,增加种群的多样性,提高算法跳出局部极值的能力.理论分析证明了改进算法的时间复杂度与基本算法相同,6种对比算法在10个不同特征的标准测试函数上进行仿真对比测试,实验原创 2024-07-04 19:36:27 · 413 阅读 · 0 评论 -
面向图像数据的对抗样本检测与防御技术综述
对抗样本是指在原始数据集中的样本中通过有目的地添加少量的扰动信息,使得基于DNN模型的系统出现误判的样本[5].理论上,输入空间的某个邻域可以从不同的角度表征同一个对象,即输入空间的某邻域内的数据应有相同的输入标签和统计分布.图1 GoogLeNet中快速对抗样本生成对抗样本的发现否定了这一推测.Szegedy等人[5]发现,被神经网络正确分类的原始样本添加了微小扰动后,神经网络对其的分类准确率显著下降.原创 2024-07-04 19:34:46 · 63 阅读 · 0 评论 -
自动驾驶系统中视觉感知模块的安全测试
摘 要 近年来,基于深度学习的视觉感知技术的发展极大地促进了车联网领域中自动驾驶的繁荣,然而自动驾驶系统的安全问题频出引发了人们对自动驾驶未来的担忧.由于深度学习系统的行为缺乏可解释性,测试基于深度学习的自动驾驶系统的安全性极具挑战.目前,已有针对自动驾驶场景的安全性测试工作被提出,但这些方法在测试场景生成、安全问题检测和安全问题解释等方面仍存在不足之处.针对基于视觉感知的自动驾驶系统,设计开发了一种场景驱动的、可解释性强的、运行高效的安全性测试系统.提出了一种能够平衡真实性与丰富度的场景描述方法,并利用实原创 2024-07-04 19:07:50 · 13 阅读 · 0 评论 -
面向工业互联网隐私数据分析的量子K近邻分类算法
摘 要 分析和利用工业互联网蕴含的海量人、机、物、系统数据信息,对优化覆盖全产业链、全价值链的制造体系和服务体系有重要的意义.然而对工业互联网大数据进行处理和分析,在带来无限机遇的同时,也带来了前所未有的隐私忧患.隐私安全是工业互联网安全的重要组成部分,研究带有保护隐私特性的工业互联网大数据分析算法已经非常紧迫和严峻.工业互联网大数据处理也对隐私性、高效性和准确性等有了更高的要求.鉴于此,提出了带有保护隐私特性的量子K-近邻(K-nearest neighbor, KNN)算法,找到了一种对原始训练样本集和原创 2024-07-04 19:03:13 · 9 阅读 · 0 评论 -
面向工业互联网隐私数据分析的量子K近邻分类算法
摘 要 分析和利用工业互联网蕴含的海量人、机、物、系统数据信息,对优化覆盖全产业链、全价值链的制造体系和服务体系有重要的意义.然而对工业互联网大数据进行处理和分析,在带来无限机遇的同时,也带来了前所未有的隐私忧患.隐私安全是工业互联网安全的重要组成部分,研究带有保护隐私特性的工业互联网大数据分析算法已经非常紧迫和严峻.工业互联网大数据处理也对隐私性、高效性和准确性等有了更高的要求.鉴于此,提出了带有保护隐私特性的量子K-近邻(K-nearest neighbor, KNN)算法,找到了一种对原始训练样本集和原创 2024-07-04 19:02:42 · 5 阅读 · 0 评论 -
泛在计算安全综述
人机物融合的泛在计算是继主机计算、个人计算、移动计算之后新兴的应用计算模式.泛在计算使人们可在任何时间地点将计算需求与云边端多级计算服务能力无缝适配[1],并要求新型泛在操作系统提供基础系统能力支撑,融合管理泛在分布、能力异构的设备硬件资源.泛在计算任务特征多样,时空分布拓扑复杂,涵盖了智慧家庭、工业互联网、智能云计算、自动驾驶、智慧城市、无人系统集群等典型泛在计算场景.原创 2024-07-04 19:00:24 · 15 阅读 · 0 评论 -
深度神经网络模型版权保护方案综述
摘 要 深度神经网络(deep neural network, DNN)等新兴技术以前所未有的性能在工业互联网安全中得到广泛发展和应用.然而,训练DNN模型需要在目标应用程序中捕获大量不同场景的专有数据、广泛的计算资源,以及在专家的协助下调整网络拓扑结构并正确训练参数.因此,DNN模型应当作为有价值的知识产权,从技术上保护其不被非法复制、重新分发或滥用.受经典水印技术被用于保护与多媒体内容相关的知识产权的启发,神经网络水印是目前最受研究者关注的DNN模型版权保护方法.迄今为止,学术界对神经网络水印在DNN模原创 2024-07-04 13:25:51 · 12 阅读 · 0 评论 -
CS-Softmax:一种基于余弦相似性的Softmax损失函
摘 要 卷积神经网络分类框架广泛使用了基于Softmax函数的交叉熵损失(Softmax损失函数),在很多领域中都取得了良好的性能.但是由于Softmax损失函数并不鼓励增大类内紧凑性和类间分离性,在一些多分类问题中,卷积神经网络学习到的判别性嵌入表示的性能难以进一步提高.为了增强嵌入表示的判别性,提出了一种基于余弦相似性的Softmax(cosine similarity-based Softmax, CS-Softmax)损失函数.CS-Softmax损失函数在不改变神经网络结构的条件下,分别计算嵌入表原创 2024-07-04 10:45:33 · 12 阅读 · 0 评论 -
网络侦察及其防御技术研究综述
然而动态环境下,网络侦察攻防的博弈关系复杂多变,还需要更多的研究来刻画动态环境下对手的侦察活动,包括攻击方如何决定进行侦察及攻击方如何在攻击中使用侦察收集的信息等,并对防御者使用混淆、欺骗等手段对攻击者的影响进行描述,以更深刻地揭示网络侦察攻防双方的博弈关系。通过系统性分析网络侦察的主要形式及防御方法,讨论网络侦察的主要目标信息,总结主要的网络侦察方法,介绍当前主流的网络侦察防御方法,提供了一个全面的对抗性的网络侦察攻防视角,可以帮助研究人员理解和建模网络侦察过程,改进网络侦察防御的方法和策略。原创 2022-12-01 21:36:20 · 1009 阅读 · 0 评论 -
Docker镜像安全深度扫描
Docker具有轻量、高效以及方便部署的特点,发展势头迅猛,现已被广泛应用。目前,灵雀云、谷歌、微软、华为、京东、网易游戏以及腾讯等,都已经在积极探索将其业务移植到容器上的方式。现在对于虚拟机镜像的研究已经趋向成熟,包括组播、P2P以及共享存储等技术,为Docker镜像的分发提供了参考依据,也有了对Docker镜像分发技术的研究和使用。但是,Docker镜像有其不同于虚拟机镜像的独有特点,需要据此做设计和优化。原创 2022-12-01 21:35:38 · 1157 阅读 · 0 评论 -
量子密钥分发网络方案研究
量子密钥分发结合密码技术可以实现安全的保密通信。因此,针对目前量子密钥分发网络组网方案形式的多样性展开研究分析工作。首先,介绍国内外量子密钥分发网络的发展状况,分析现有网络的组网方案;其次,论述目前量子密钥分发网络的几种主要组网方案,包括基于经典光学器件的组网方案、基于可信中继的组网方案和基于量子中继的组网方案,同时分析了每种方案的优缺点;最后,总结适合主干网络、城域网络和接入网络的量子密钥分发网络组网方案。内容目录:1 量子密钥分发网络现状1.1 国外量子密钥分发网络1.2 国内量子密钥分发网络1.3 国原创 2022-12-01 21:34:14 · 629 阅读 · 0 评论 -
攻防对抗中的加密恶意流量分析技术
摘 要:随着网络的不断发展,安全需求的不断提升,加密技术成为保障流量安全的首选,但同时也带来了加密恶意流量的激增,面对复杂多变的网络环境,如何在不解密条件下快速识别其中的恶意流量对提升网络安全防护能力具有重要的意义。以恶意流量分类为研究基础,梳理目前比较流行的加密恶意流量分析识别技术,聚焦基于单维特征和多维特征的流量识别方法,探讨前沿技术在加密恶意流量分析领域的应用研究,为后续研究指出了方向。内容目录:1 研究现状2 恶意流量分类3 关键识别技术3.1 基于单维特征流量分析3.1.1 证书特征3.1.2 数原创 2022-12-01 21:33:15 · 168 阅读 · 0 评论 -
6G网络需求、架构及技术趋势
【摘 要】基于5G网络应用现状及技术发展趋势分析,梳理下一代移动通信网络业务需求发展趋势,在5G网络指标体系延续性提升的基础上,结合新愿景和新需求进行全面增强,设计满足未来业务需求的6G网络指标体系,并基于“智能、融合、绿色、可信”设计理念,提出包含“垂直三层、左右三域、内生两链”的6G网络架构。最后,对6G无线使能技术和网络使能技术进行对比分析,支撑6G网络候选技术体系建立。【关键词】第六代移动通信系统;太赫兹;区块链0 移动网络业务需求与发展趋势以5G为代表的信息技术已全面渗透到各行各业,随着用户原创 2022-11-18 19:46:22 · 251 阅读 · 0 评论 -
可定义的6G安全架构
其中,信任是网络运作、业务正常开展的基础,也是安全监测/防御体系的基础,防御能力持续为网络提供安全保障,并通过监测能力感知网络安全状态,为安全决策提供依据,当网络环境、安全状态发生变化时,安全决策做出响应指示,安全能力控制指示安全防御做出策略调整,或调用安全防御能力进行响应、处置,各安全能力的共同作用,形成“检测、响应、预测、预防”一体化的自适应安全体系[8]。通过将安全的控制平面和数据平面分离,构建以安全决策控制为核心的软件定义安全架构,架构由安全资源层、安全定义层、安全能力层、安全决策控制层组成。原创 2022-11-18 19:41:16 · 146 阅读 · 0 评论 -
6G智慧内生:技术挑战、架构和关键特征
【摘要】人工智能技术在5G网络中的应用促进了移动通信网络和垂直行业的智能化发展,但以“打补丁”和“外挂”的应用模式阻碍了AI应用效果的发挥。同时,人工智能在各行各业的应用探索,对未来网络新的基础能力提出了需求,如分布式训练、实时协作推理、本地数据处理等,要求未来网络具有“内生智慧”。从5G网络智能化和6G“智慧泛在”愿景两方面出发探讨了6G智慧内生的需求,分析了AI生命周期工作流和云网络AIaaS存在的技术挑战,总结了当前各行业组织对AI功能架构的研究进展和欠缺之处,提出了6G智慧内生端到端功能部署架构及其原创 2022-11-18 19:39:38 · 226 阅读 · 0 评论 -
面向6G时代新通信系统的内生感知
【摘 要】在6G网络发展的背景下,传统的碎片化、粗粒度、不可控的感知难以适应日益复杂的未来无线网络。为适应6G时代的新通信系统,首先对面向6G网络的感知需求进行分析,然后针对需求提出了内生感知的设计思想和系统架构,并且,在内生感知系统架构下给出了基于意图的分级感知和感知服务化的关键技术。所提出的内生感知系统架构和关键技术,能够使通信网络获得内生的感知能力,从而实现全面、精确、及时、高效的感知,最终达到通信效率提升和协助网络走向智简的目的。【关键词】6G网络;6G时代;内生感知;系统架构;感知能力0 引原创 2022-11-18 19:37:24 · 493 阅读 · 0 评论 -
机器学习在无线信道建模中的应用现状与展望
【摘 要】为了适应未来6G通信系统的超宽频谱、超大规模天线阵列、高度异构化以及众多新型应用场景,信道建模成为新系统开发必不可少的技术基础。由于6G通信系统将具有典型的大数据特征,基于机器学习的数据驱动型无线信道建模方法已经将成为未来信道模型开发的重要手段。综合分析机器学习在无线信道建模中的应用现状,主要包括确定性信道模型的射线追踪法,随机性信道模型的多径分量聚类与跟踪以及模型参数估计,数据驱动型信道建模,以及信道场景识别,最后,讨论基于机器学习的无线信道建模方法面临的挑战。【关键词】机器学习;无线信道;信原创 2022-11-18 19:36:15 · 963 阅读 · 0 评论 -
基于网络防御知识图谱的0day攻击路径预测方法
针对 0day 漏洞未知性造成的攻击检测难问题,提出了一种基于知识图谱的 0day 攻击路径预测方法。通过从现有关于网络安全领域本体的研究成果及网络安全数据库中抽取“攻击”相关的概念及实体,构建网络防御知识图谱,将威胁、脆弱性、资产等离散的安全数据提炼为互相关联的安全知识。在此基础上,依托知识图谱整合的知识,假设并约束0day漏洞的存在性、可用性及危害性等未知属性,并将“攻击”这一概念建模为知识图谱中攻击者实体与设备实体间存在的一种关系,从而将攻击预测问题转化为知识图谱的链接预测问题。原创 2022-11-18 19:32:18 · 155 阅读 · 0 评论 -
机器视觉技术在工业智能化生产中的应用
另外,还可以实现非接触测量。现代化的工业生产大多倾向机械一体化,例如,薯片的生产,从土豆的清洗,到最后薯片的装袋、封口,都不需要人为参与。本文主要通过论述机器视觉技术在工业生产智能化中的应用,分析机器视觉的优点及现如今存在的问题,并针对问题提出解决性的方法,进而剖析机器视觉技术在工业智能化生产上的发展趋势及方向,期望能为现代化的智能工业生产的发展提供借鉴。图像采集部分的快慢主要依赖于硬件的速度,高质量的硬件可有效减轻主机的负担,提高系统的对图像的分辨效率、采集效率、图像处理的速度及处理分析效率。原创 2022-11-18 19:30:58 · 571 阅读 · 0 评论 -
谈谈数据分析晓知识
一个好的数据模型是数据库中具体细节的抽象模型,例如数据如何捕获、数据如何在系统中流动、数据如何输入到各个表中,以及在存储数据之前对数据应用哪些检查和约束在数据库中。例如,Gartner将数据分析定义为“对所有用途(运营和分析)的数据进行管理,并对数据进行分析,以通过更有效的决策制定和增强的客户体验来推动业务流程并改善业务成果。例如,您可能会发现 1980 年初出生、收入超过 5 万美元的女性对特定品牌的巧克力棒有浓厚的兴趣,或者购买特定品牌苏打水的人也会购买特定品牌的薯片。是有监督学习和无监督学习的结合。原创 2022-11-18 19:28:40 · 999 阅读 · 0 评论 -
谈谈从DAMA、DCMM和DGI三大数据治理框架详细了解数据战略规划的关键要素
那么如何制定数据战略,数据战略规划的关键要素是什么,可谓众说纷坛,仁者见仁智者见智,下面笔者从DAMA数据管理知识体系、DCMM数据管理能力成熟度评估、DGI数据治理框架对数据治理战略的要素进行分析,抽丝剥茧,提取出数据战略规划的关键要素,供大家学习参考。数据管理能力成熟度评估模(GB/T36073—2018)给出了数据管理能力成熟度评估模型以及相应的成熟度等级,定义了数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准和数据生存周期等8个能力域。最后是实施数据治理和数据治理嵌入业务功能。原创 2022-11-18 19:27:49 · 1439 阅读 · 0 评论 -
谈谈主数据管理的概念、原则、标准和指南
上图中的客户数据在不同的数据层有不同的重点,比如核心属性有姓名、生日、身份证号,扩展属性有职业、电话号码、邮箱、住址,派生属性有收益率、客户ID、群体价值、客户价值,相关数据有导师、所修课程,社会数据有爱好、博客、动态等。重要的是,这指的是创建信息的过程,而不是该过程产生的记录或数据,也不是支持该过程的IT系统。•给定包含一个新的自然键的信息,创建一个新的记录,并为该记录发布一个新的唯一标识符。主数据管理依赖于识别需要掌握的关键数据领域的能力,以及围绕这些领域已建立的“主”信息源声明和维护规程的能力。原创 2022-11-18 19:26:37 · 1201 阅读 · 0 评论 -
谈谈制定数据治理战略路线图的方法
商业思想领袖约翰•拉德利(John Ladley)曾说过:“一些非常艰难和危险的教训正在发生,因为糟糕的数据驱动着糟糕的模型,后者驱动着糟糕的行为,而这一切都是欺骗性或有偏见的人工智能模型的结果。以下显示了实现与数据治理能力相关的更改所需的计划的示例:粉色的块是活动的过程,打包到计划的橙色框中。对于RedYabber来说,一个主要的挑战是他们无法基于数据来推动决策,因为人们对他们的数据的准确性和质量存在根本的不信任。采用基于能力的方法,我们将能力与我们的目标列表联系起来(如下面的能力图中相应的数字所示)。原创 2022-11-17 16:58:50 · 365 阅读 · 0 评论 -
基于聚类算法的IMT-2030应用场景初步研究
【摘 要】IMT系统已进入新的研究周期,支持的业务种类将更为丰富,业务品质将更加高级,同时业务特性表现为更多的维度和更大的范围,如何对业务进行客观而高效的分析以得到典型的应用场景,对于IMT系统的标准化和产品开发具有重要的指导意义。提出了对IMT业务进行聚类处理,并根据聚类得到的若干类业务生成应用场景的初步方案,利用IMT-2020应用场景对所提方案进行了验证,并采用所提方案对IMT-2030应用场景进行了初步的探索。【关键词】IMT-2030;6G业务;6G应用场景;聚类0 引言ITU-R从IMT-原创 2022-11-17 16:58:30 · 116 阅读 · 0 评论 -
从数字化转型的成功案例看如何避免失败的七大陷阱(案例很典型)
十年后,他们对市场的变化做出了回应,并改变了他们的商业模式,提供数字内容流媒体服务——剩下的就是历史了。这一战略是围绕他们所认为的离岸模式的弱点而制定的,过度依赖低成本的人力劳动力,加上低成本(和质量),成为主要的竞争差异。他们发现,他们对独特和高质量制造的承诺,都是在当地完成的,事实上,给了他们一个差异化的市场地位。缺乏经验的常见错误包括在规划时考虑错误的因素,设定不现实的目标,缺乏明确的战略,资源不足,很少考虑风险管理。现在,他们对损失产量的原因有了新的认识,使他们能够消除影响操作优化的问题。原创 2022-11-17 16:56:24 · 194 阅读 · 0 评论 -
终于有人把智能制造与工业4.0讲明白了
数字化是实现工业4.0的基础条件,通过嵌入式处理器、传感器和通信模块,把各要素联系在一起,使得产品和不同的生产设备能够互联互通并交换信息,未来智能工厂能够自行优化并控制生产过程。,以一座中等规模的典型工厂为例,它通常拥有多台购置于不同时期、来自不同供应商的设备,而不同供应商的自动化水平、软硬件平台以及通信协议均不同,导致数据的收集、整合以及场景标准化非常困难,有些设备制造商甚至将数据分析洞见作为增值服务,工厂须付费才可使用,这进一步阻碍了数据的获取。在此之前,企业需要投入大量人力管理租赁设备。原创 2022-11-17 16:55:38 · 102 阅读 · 0 评论 -
讨论几个大家耳熟能详的词:数据、信息、知识
数据是对客观事物的逻辑归纳,可以用来表示一个事实、一种状态、一个实体的特征,或一个观察的结果,有些是用于描述某个对象的事实性数据,有些则是通过观察、分析、归纳得到的总结性数据。现在给它们加上一些说明,比如:衣服的价格是68元,今天的气温是21摄氏度,小明爸爸的体重是192斤。承载数据的形式有很多,不仅包括文字、数字、符号、图像、语音、视频,也可以是对某个事物的属性、数量、位置、关系的抽象表示。比方说,从〈东方明珠,坐落在,浦东〉和〈浦东,属于,上海〉这两个组合,就能推测得到〈东方明珠,位于,上海〉。原创 2022-11-17 16:54:12 · 102 阅读 · 0 评论 -
解读OpenShift的逻辑架构和技术架构
OpenShift应用程序运行时(RHOAR)是在OpenShift中运行云原生应用的程序运行时,包含Red Hat JBoss EAP、OpenJDK、Thorntail、Eclipse Vert.x、Spring Boot和Node.js。可以选择根据运行的容器类型将节点进一步细分为Infra节点和App节点,Infra节点上运行集群的附加组件(如路由器、日志、监控等),App节点上运行真实的业务应用容器。负责整个集群的调度和管理,如认证授权、容器调度、应用管理、服务注册发现等。原创 2022-11-17 16:52:27 · 444 阅读 · 0 评论 -
5种常用格式的数据输出,手把手教你用Pandas实现
要想把DataFrame对象导出,首先要指定一个文件名,这个文件名必须以.xlsx或.xls为扩展名,生成的文件标签名也可以用sheet_name指定。DataFrame.to_html会将DataFrame中的数据组装在HTML代码的table标签中,输入一个字符串,这部分HTML代码可以放在网页中进行展示,也可以作为邮件正文。任何原始格式的数据载入DataFrame后,都可以使用类似DataFrame.to_csv()的方法输出到相应格式的文件或者目标系统里。本文将介绍一些常用的数据输出目标格式。原创 2022-11-17 16:50:09 · 888 阅读 · 0 评论 -
详细介绍场景化思维中的5种思维模式
导读:场景化思维——移动互联网产品的灵魂。移动终端加速了场景化设计的应用进程。移动互联网让更多的用户场景可以被满足,也相应催生了更多产品的核心价值。因此,我们可以针对用户场景,结合移动终端的特性,设计出用户体验更好的移动互联网产品。那么,对于移动互联网产品,具体应该如何基于场景进行分析呢?下面我将结合自己超过15年的互联网产品设计和运营经验,围绕用户场景分析的四要素,详细介绍场景化思维中的5种思维模式。01 碎片化思维,快速抢占用户心智碎片化是移动互联网的显著特征,相比于PC互联网,移动互联网有5个碎片化趋原创 2022-11-17 16:48:30 · 383 阅读 · 0 评论 -
GraphQL及元数据驱动架构在后端BFF中的实践
商品展示场景的复杂性体现在:场景多、依赖多、逻辑多,以及不同场景之间存在差异。在这样的背景下,如果是业务初期,怎么快怎么来,采用“烟囱式”个性化建设的方式不必有过多的质疑。但是随着业务的不断发展,功能的不断迭代,以及场景的规模化趋势,“烟囱式”个性化建设的弊端会慢慢凸显出来,包括代码复杂度高、缺少能力沉淀等问题。本文以基于对美团到店商品展示场景所面临的核心矛盾分析,介绍了:业界不同的BFF应用模式,以及不同模式的优势和缺点。基于GraphQL BFF模式改进的元数据驱动的架构方案设计。原创 2022-11-17 16:47:16 · 195 阅读 · 0 评论 -
六大银行数据治理现状盘点:治理架构、数据标准与数据平台
例如,工商银行建立了统一的企业级数据标准,覆盖当事人、产品、协议、账户、介质、地理位置、资源项、事件、渠道和通用十大标准主题,并已经建设了全行级信息标准管理服务平台,覆盖了数据标准的建立、变更、发布、查询、废止等全生命周期;2018年,银保监会在《银行业金融机构数据治理指引》中首次明确了数据治理的定义,“数据治理是指银行业金融机构通过建立组织架构,明确董事会、监事会、高级管理层及内设部门等职责要求,制定和实施系统化的制度、流程和方法,确保数据统一管理、高效运行,并在经营管理中充分发挥价值的动态过程。原创 2022-11-17 16:46:08 · 1536 阅读 · 0 评论 -
Linux下跨语言调用C++实践
为了达到业务方开箱即用的目的,综合考虑C++、Python、Java用户的使用习惯,我们设计了如下的协作结构:图 1实现方案一节中提到Python/Java不能直接调用C++接口,要先对C++中对外提供的接口用C语言的形式进行封装。这里根本原因在于使用动态库中的接口前,需要根据函数名查找接口在内存中的地址,动态库中函数的寻址通过系统函数dlsym实现,dlsym是严格按照传入的函数名寻址。在C语言中,函数签名即为代码函数的名称,而在C++语言中,因为需要支持函数重载,可能会有多个同名函数。原创 2022-11-16 16:33:29 · 112 阅读 · 0 评论 -
未来有望干掉 Python 和 JavaScript 的编程语言
由于 Python 和 JavaScript 都是脚本语言,因此它们有很多共同的特性,都需要解释器来运行,都是动态类型,都支持自动内存管理,都可以调用 eval()来执行脚本等等脚本语言所共有的特性。在未来十年左右的时间里,它可能会衍生出一系列的语言,这些语言有望最终登上榜首。另一种 Google 支持的语言 Golang,得益于其闪电般的编译速度、简单高效的并发性以及非凡的简单性,它被证明是赢家。Elixir 是 Erlang 的派生语言,具有改进的语法,以及与 Erlang 相同的、惊人的并发性支持。原创 2022-11-16 16:31:53 · 114 阅读 · 0 评论 -
数据治理一体化实践之体系化建模
数字经济的快速发展,给企业的经营带来了新的机遇和挑战,如何有效开展数据治理,打破数据孤岛,充分发挥数据的业务价值,保护数据安全,已成为业界的热门话题。本文基于美团配送数据治理的历程,分享了数据定义、模型设计、数据生产三环节统一的配送数据“底座”的建设与实践。1 前言本文基于美团配送数据治理的历程,重点和大家分享一下配送数据“底座”的建设与实践,如何通过体系化建模建立起数据定义到数据生产的桥梁,达成数据定义、模型设计、数据生产三个环节的统一,消除因数据标准缺失和执行不到位引发的数据信任问题,在高质量地实现数据原创 2022-11-16 16:30:45 · 84 阅读 · 0 评论 -
TensorFlow在推荐系统中的分布式训练优化实践
美团内部深度定制的TensorFlow版本,基于原生TensorFlow 1.x架构与接口,从大规模稀疏参数的支持、训练模式、分布式通信优化、流水线优化、算子优化融合等多维度进行了深度优化。在推荐系统场景中,分布式扩展性提升10倍以上,单位算力性能也有显著提升,并在美团内部业务中大量使用,本文介绍了相关的优化与实践工作。1 背景TensorFlow(下文简称TF)是谷歌推出的一个开源深度学习框架,在美团推荐系统场景中得到了广泛的使用。但TensorFlow官方版本对工业级场景的支持,目前做得并不是特别的完善原创 2022-11-16 16:29:38 · 249 阅读 · 0 评论 -
元宇宙的底层逻辑
第二个工具是数字孪生。有一部电影叫《上载新生》,把人的意识和知识上载到数字分身里面去,它跟肉体的你,在认识水平、在能力、在表达等方面一模一样,可以在不同的空间里面跟你面对面地探讨问题,这就是三维空间,三维虚拟现实对时间和空间重组,这个重组会释放出来10倍、20倍的价值。到区块链,就已经不再是消费者驱动的经济,变成了开发者驱动的经济,以太坊有几十万甚至上百万的开发者,在上面不断部署应用,开发出来的应用99%没有用,但有1%成长为几十亿美元、上百亿美元市值的应用,这个网络就具有了5000亿美元的市值。原创 2022-11-16 16:28:46 · 92 阅读 · 0 评论 -
三驾马车、四大赛道,元宇宙如何领跑数字经济?
游戏引擎相当于游戏的芯片,是元宇宙领域的核心竞争力之一。多名业内权威人士表示,元宇宙或将引领全球数字经济发展,亟须尽快出台政策,破解制约元宇宙发展的法律、技术、人才等方面的障碍,加强治理监管,引导我国企业加快切入元宇宙健康发展的赛道,追赶并追求领跑全球下一代互联网和数字经济发展。网易集团有关负责人认为,未来,游戏产业应与元宇宙结合,不仅在真实世界外创造一个虚拟世界,还要把更多精力放在为真实世界做补充上,让游戏与元宇宙的叠加效应不断溢出,应用到工业、医疗、交通、教育、文化等实体领域。全球各大股市反应迅速。原创 2022-11-16 16:27:44 · 784 阅读 · 0 评论