- 博客(1031)
- 收藏
- 关注
原创 政务数据标识技术研究进展及下一代政务数据标识体系
摘要政务数据标识是建设全国一体化政务大数据体系的一项基础性工作。对数据标识技术的研究进展进行了总结,比较了不同数据标识技术编码规则的异同,并进一步总结了政务数据标识及应用进展。结合政务数据所具有的权责明确、安全性要求高、兼容性需求强等特点,提出了下一代政务数据标识体系Gcode。Gcode由外部码、内部码和安全码3个部分组成。其中,外部码兼容了统一社会信息用代码,内部码建立了“机构部门-系统-数据”的关联关系,安全码通过引入区块链技术实现防伪验真。Gcode具有权责明确、兼容性强、安全性高等特点,能够支持政
2024-09-08 15:08:34
739
原创 我国政务数据分类分级实施关键问题与实践研究
摘要数据分类分级是保障数据安全流通、推动数据价值释放的基础前提。聚焦政务数据分类分级这一政府数字化改革中的关键任务,采用基于理论的案例研究方法,基于各省级地方及部委公开发布的方案,对我国政务数据分类分级实施情况进行系统梳理与量化分析。总结了我国政务数据分类分级实施的四大关键过程与五大特点;从政务数据分类分级的特殊复杂性出发,提出我国政务数据分类分级实施存在整体目标定位不清、分类分级对象各异、分类分级关系割裂、安全分级标准不一4个问题,并提供应对方案;基于国家某部委政务数据分类分级实践,验证应对方案的科学性、
2024-09-08 15:07:52
576
原创 省级政务大数据平台建设模式研究与启示
摘要建设高质量政务大数据资源平台是实现跨部门、跨区域、跨层级政务信息集成融合,加快建设数字政府、提升公共服务和社会治理等数字智能化水平的重要基础工程。首先,回顾我国电子政务发展历程,并总结出传统省级政务大数据平台的3种建设模式以及存在的问题,即数据鲜活性低、数据一致性差、业务协同管理难、基础支撑力弱和总体投入高。其次,对江苏信用一体化信息资源管控平台进行案例分析,阐述以江苏案例为例的原因,针对传统建设模式存在的问题,提出对应的解决思路和总体架构设计,并梳理出江苏案例的4个借鉴价值。最后,在总结江苏研究和实践
2024-09-08 15:06:38
827
原创 基于联邦学习的政务大数据平台应用研究
在国家一体化政务大数据平台框架下采用联邦学习方案,各数据持有方不需要提交数据,通过隐私集合求交的方式,保证了本地数据的安全,降低了隐私泄露的风险,实现“数据不出域,模型出域”的目标,如。该系统通过联邦推荐系统的隐私保护因子分解机算法,在确保数据隐私和模型隐私安全的前提下,解决不同政务部门(数源单位)之间的数据供需匹配问题,即对数据拥有单位及数据需求单位进行联邦推荐建模,预测二者的供需匹配度,帮助数据需求单位精准、快速、安全地找到最佳数源单位,然后依托一体化政务大数据平台进行数据高质量共享,如。
2024-09-08 15:05:25
1097
原创 “数据赋能”驱动智能化政府建设的逻辑与路径
摘要在社会全面数字化的时代,政府的智能化趋势不可阻挡。在技术与数据的协同作用下,我国数字政府建设呈现电子化、网络化和智能化的发展趋势。数据是数字政府建设的核心资源,建设智能化数字政府必然要求充分发挥数据的价值。数据赋能推动数字政府建设的逻辑如下:数据赋能政府的开放性运行;数据赋能政府的整体性运行;数据赋能政府的协同性运行;数据赋能政府的科学性运行。通过数据赋能推动数字政府建设的具体路径要求:以数字政府的整体性运行为基础保障数据的开放共享;以数字政府的协同性运行为基础保障数据的统一与管理;以数字政府的开放性为
2024-09-08 15:03:53
2348
原创 面向非平行语料的语音转换技术综述
摘要语音转换是语音及人工智能领域的一项研究课题,其目标是在保持源语音内容不变的情况下改变语音的音色,使其听上去像是由另一个目标说话人说出的,同时还需保证语音的质量和自然度。面向非平行语料的语音转换技术是当下的热门研究内容,其使用非平行的多说话人语音数据集进行模型训练,能完成多对多以及任意对任意的语音转换。对近年来面向非平行语料的语音转换进行了全面的总结和分析。首先概述了早期面向平行语料的语音转换及其缺陷,然后对当下面向非平行语料的语音转换的各类实现方法进行介绍和对比分析,最后对语音转换技术进行了总结和展望。
2024-09-08 15:03:05
610
原创 知识与句法融合的因果关系抽取网络
现有的因果关系抽取方法大多将句法结构和背景知识割裂开进行研究,早期的因果关系抽取方法偏重于从句法结构层面进行分析,随着深度学习技术的发展,预训练模型结合背景知识的方法成为主流。上述两类早期方法存在的问题是需要大量的专业知识和人工劳动,无论是规则制定,还是特征选择,均需要专业人士的大量手工工作,不适宜处理海量数据的情况,并且难以保持稳定的良好效果。现有的因果关系抽取方法将依存句法和背景知识割裂研究,本文提出了构建知识句法图进行因果关系抽取的方法,将两者结合丰富实体嵌入,从而获得更好的模型效果。
2024-09-08 15:01:52
824
原创 Bootstrap样本大数据模型和分布式集成学习方法
摘要传统Bootstrap抽样和Bagging集成学习通常以串行方式实现,计算效率低,且存在样本不可重用、扩展性差等问题,不适合高效的大规模Bagging集成学习。从大数据分布式计算的思维入手,提出新的Bootstrap样本划分(BSP)大数据模型和分布式集成学习方法。BSP数据模型通过分布式生成算法将训练数据表达成分布式Bootstrap样本集的集合,存储成HDFS分布式数据文件,为后续的分布式集成学习提供数据支持。分布式集成学习方法从BSP数据模型中随机选取多个BSP数据块,读入集群各个节点的虚拟机,用
2024-09-08 15:00:32
1038
原创 基于动态动作覆盖的深度强化学习新闻推荐
时序差分(temporal difference,TD)是一种用来估计一个策略的价值函数的方法,传统的基于价值的强化学习方法(如Q-learning)使用表格的方式对TD误差进行估计,但在推荐系统中,无法在巨大的动作空间中使用表格法。因此,对于新闻的推荐而言,通过监督学习建立一个以历史会话数据为基础的模型,是无法适应多变的新闻主题推荐的,无法很好地识别用户短期内以会话为单元的新闻倾向性变化,也就是监督学习建立的推荐模型更适应静态的、关联性强的推荐领域,而不适应动态的、随时间快速变化的领域。
2024-09-08 14:57:58
507
原创 面向小样本情感分类任务的弱监督对比学习框架
摘 要 文本情感分类是自然语言处理领域的挑战性研究课题.基于词典的方法和传统基于机器学习方法分别依赖高质量的情感词典和鲁棒的特征工程,而多数深度学习方法的性能则依赖大规模人工标注数据集.幸运的是,不同社交平台用户生成了大量带标签的舆情文本,这些文本可以作为弱标注数据集被用于情感分类任务,但是弱标注数据集中的噪声样本会对训练过程产生负面影响.提出了一种用于小样本情感分类任务的弱监督对比学习(weakly-supervised contrastive learning, WCL)框架,旨在学习海量带噪声的用户标
2024-07-21 17:26:09
210
原创 基于关联特征传播的跨模态检索
本文提出的基于关联特征传播的跨模态检索模型的结构如图2所示.该模型主要由关联特征传播(correlation feature propagation, CFP)模型和语义映射(semantic mapping, SM)模型2部分组成.图2 基于关联特征传播的跨模态检索模型图2的CFP模型结构包含2个不同模态数据的分支网络,每个分支都包含1个输入层和若干个隐藏层,且2分支之间的各个网络层特征都进行了CCA算法的关联约束.
2024-07-21 17:25:31
174
原创 一种面向实体关系联合抽取中缓解曝光偏差的方法
摘 要 实体关系联合抽取的目的是从非结构化文本中同时提取实体提及和关系事实,是知识图构建的关键步骤,也是许多自然语言处理中高级任务的基础.现有工作大都采用了分阶段的联合抽取方法来处理文本中同时存在的多个三元组和实体重叠情况下的三元组抽取问题,虽然取得了合理的性能提升,但都存在严重的曝光偏差问题.对此,提出了一种名为融合关系表达向量(fusional relation expression embedding, FREE)的新方法,通过融合关系表达向量来有效缓解曝光偏差问题.此外,提出了一种称为条件层规范化层
2024-07-21 17:24:49
155
原创 一种融合关系路径与实体描述信息的知识图谱表示学习方法
为了能够更好地描述本文提出的模型,首先给出相关的符号定义.将一个知识图谱定义为KG=(E,R,T),其中E,R分别表示知识图谱中所有实体、关系的集合,T表示所有三元组(h,r,t)的集合,其中h,t∈E,r∈R.定义1. 基于结构的表示.h*TransH,t*TransH,r*是头实体、尾实体和关系基于TransH的结构化向量表示;h*TransR,t*TransR,r*是头实体、尾实体和关系基于TransR的结构化向量表示.
2024-07-21 17:24:00
172
原创 新一代知识图谱关键技术综述
摘 要 近年来,国内外在新一代知识图谱的关键技术和理论方面取得了一定进展,以知识图谱为载体的典型应用也逐渐走进各个行业领域,包括智能问答、推荐系统、个人助手等.然而,在大数据环境和新基建背景下,数据对象和交互方式的日益丰富和变化,对新一代知识图谱在基础理论、体系架构、关键技术等方面提出新的需求,带来新的挑战.将综述国内外新一代知识图谱的关键技术研究发展现状,重点从非结构化多模态数据组织与理解、大规模动态图谱表示学习与预训练模型、神经符号结合的知识更新与推理3方面对国内外研究的最新进展进行归纳、比较和分析.最
2024-07-21 17:23:12
310
原创 基于深度学习的数据竞争检测方法
摘 要 针对目前已有的基于深度学习的数据竞争检测方法提取特征单一和准确率低的问题,提出一种基于深度学习的数据竞争检测方法DeleRace,该方法首先利用程序静态分析工具WALA从多个实际应用程序中提取指令、方法和文件等多个级别的特征,对其向量化并构造训练样本数据;然后通过ConRacer工具对真实数据竞争进行判定进而标记样本数据,采用SMOTE增强算法使正负数据样本分布均衡化;
2024-07-21 17:22:19
92
原创 基于参考图语义匹配的花卉线稿工笔效果上色算法
摘 要 研究基于参考图像的花卉线稿图的工笔效果上色问题.现有的基于参考图像的线稿图上色算法对工笔花卉画特有的色彩渐变的特点难以学习和模拟;
2024-07-04 19:39:01
100
原创 基于kd-MDD的时序图紧凑表示
摘 要 时序图是顶点之间的连通性随时间变化的图,大规模时序图的紧凑表示和高效操作是分析和处理时序图数据的基础.提出了一种基于决策图的时序图数据紧凑表示方法——kd-MDD.kd-MDD是对kd-tree的改进,该方法对时序图的邻接矩阵进行kd划分,通过引入多值决策图来合并相同子矩阵,即kd-tree图数据表示中存在的同构子树,存储结构更加紧凑.在kd-MDD紧凑表示基础上,提供了基于kd-MDD的时序图的基本操作(如顶点正向/反向邻居的检索、边是否处于活动状态的检查、边的添加和删除等).在真实的时序图数据集
2024-07-04 19:37:51
118
原创 基于改进的樽海鞘群算法求解机器人路径规划问题
摘 要 为了探索出更好解决机器人路径规划问题的方法,提出一种差异演化的寄生樽海鞘群算法.首先在领导者位置更新公式中加入对应的上一代领导者位置信息,加强全局搜索的充分性,同时引入自适应惯性权重,更好平衡领导者在不同进化阶段对于广度和深度搜索的不同需求,提高寻优精度.然后在算法结构中引入具有不同演化策略和寄生行为机制的寄生-宿主双种群及宿主群劣汰思想,增加种群的多样性,提高算法跳出局部极值的能力.理论分析证明了改进算法的时间复杂度与基本算法相同,6种对比算法在10个不同特征的标准测试函数上进行仿真对比测试,实验
2024-07-04 19:36:27
675
原创 面向图像数据的对抗样本检测与防御技术综述
对抗样本是指在原始数据集中的样本中通过有目的地添加少量的扰动信息,使得基于DNN模型的系统出现误判的样本[5].理论上,输入空间的某个邻域可以从不同的角度表征同一个对象,即输入空间的某邻域内的数据应有相同的输入标签和统计分布.图1 GoogLeNet中快速对抗样本生成对抗样本的发现否定了这一推测.Szegedy等人[5]发现,被神经网络正确分类的原始样本添加了微小扰动后,神经网络对其的分类准确率显著下降.
2024-07-04 19:34:46
556
原创 自动驾驶系统中视觉感知模块的安全测试
摘 要 近年来,基于深度学习的视觉感知技术的发展极大地促进了车联网领域中自动驾驶的繁荣,然而自动驾驶系统的安全问题频出引发了人们对自动驾驶未来的担忧.由于深度学习系统的行为缺乏可解释性,测试基于深度学习的自动驾驶系统的安全性极具挑战.目前,已有针对自动驾驶场景的安全性测试工作被提出,但这些方法在测试场景生成、安全问题检测和安全问题解释等方面仍存在不足之处.针对基于视觉感知的自动驾驶系统,设计开发了一种场景驱动的、可解释性强的、运行高效的安全性测试系统.提出了一种能够平衡真实性与丰富度的场景描述方法,并利用实
2024-07-04 19:07:50
180
原创 面向工业互联网隐私数据分析的量子K近邻分类算法
摘 要 分析和利用工业互联网蕴含的海量人、机、物、系统数据信息,对优化覆盖全产业链、全价值链的制造体系和服务体系有重要的意义.然而对工业互联网大数据进行处理和分析,在带来无限机遇的同时,也带来了前所未有的隐私忧患.隐私安全是工业互联网安全的重要组成部分,研究带有保护隐私特性的工业互联网大数据分析算法已经非常紧迫和严峻.工业互联网大数据处理也对隐私性、高效性和准确性等有了更高的要求.鉴于此,提出了带有保护隐私特性的量子K-近邻(K-nearest neighbor, KNN)算法,找到了一种对原始训练样本集和
2024-07-04 19:03:13
93
原创 面向工业互联网隐私数据分析的量子K近邻分类算法
摘 要 分析和利用工业互联网蕴含的海量人、机、物、系统数据信息,对优化覆盖全产业链、全价值链的制造体系和服务体系有重要的意义.然而对工业互联网大数据进行处理和分析,在带来无限机遇的同时,也带来了前所未有的隐私忧患.隐私安全是工业互联网安全的重要组成部分,研究带有保护隐私特性的工业互联网大数据分析算法已经非常紧迫和严峻.工业互联网大数据处理也对隐私性、高效性和准确性等有了更高的要求.鉴于此,提出了带有保护隐私特性的量子K-近邻(K-nearest neighbor, KNN)算法,找到了一种对原始训练样本集和
2024-07-04 19:02:42
66
原创 泛在计算安全综述
人机物融合的泛在计算是继主机计算、个人计算、移动计算之后新兴的应用计算模式.泛在计算使人们可在任何时间地点将计算需求与云边端多级计算服务能力无缝适配[1],并要求新型泛在操作系统提供基础系统能力支撑,融合管理泛在分布、能力异构的设备硬件资源.泛在计算任务特征多样,时空分布拓扑复杂,涵盖了智慧家庭、工业互联网、智能云计算、自动驾驶、智慧城市、无人系统集群等典型泛在计算场景.
2024-07-04 19:00:24
84
原创 CS-Softmax:一种基于余弦相似性的Softmax损失函
摘 要 卷积神经网络分类框架广泛使用了基于Softmax函数的交叉熵损失(Softmax损失函数),在很多领域中都取得了良好的性能.但是由于Softmax损失函数并不鼓励增大类内紧凑性和类间分离性,在一些多分类问题中,卷积神经网络学习到的判别性嵌入表示的性能难以进一步提高.为了增强嵌入表示的判别性,提出了一种基于余弦相似性的Softmax(cosine similarity-based Softmax, CS-Softmax)损失函数.CS-Softmax损失函数在不改变神经网络结构的条件下,分别计算嵌入表
2024-07-04 10:45:33
131
原创 具有混合策略的樽海鞘群特征选择算法
近年来,随着计算机和数据库技术的快速发展,大规模数据集迅速增长,利用特征选择技术来筛选信息量大的特征已经变得非常重要。本文提出了一种具有混合策略的樽海鞘群特征选择算法(salp swarm feature selection algorithm with hybrid strategy,HS-SSA)。首先,本文生成一张基于互信息的排序表,并由排序表提出了新的初始化策略。其次,提出一个新颖的并且有条件调用的动态搜索算法。
2024-07-01 14:02:59
108
原创 系统故障演化过程熵及其受逻辑关系的影响研究
为研究系统故障演化过程中系统功能状态变化的混乱程度,引入熵概念提出了系统故障演化过程熵(简称演化熵)。演化熵是演化过程某时刻的系统功能状态混乱程度,是系统演化从一时刻发展到另一时刻的系统功能状态混乱程度的变化度量,数值上等于该时刻事件故障概率分布熵(简称分布熵)。研究表明演化熵只能通过某时刻事件故障概率分布得到,且具有确定的值域范围;演化过程中的事件逻辑关系对演化熵的变化有直接影响,或逻辑使演化熵降低且小于任意参与事件的分布熵,与逻辑使演化熵增加且大于任意参与事件的分布熵;
2024-07-01 14:01:26
98
原创 融合非线性收敛因子与变异准反射学习的哈里斯鹰优化算法
针对哈里斯鹰优化算法(Harris Hawks optimization, HHO)易早熟收敛、寻优精度低、收敛速度慢等问题,提出一种融合非线性收敛因子与变异准反射学习的哈里斯鹰优化算法(improved Harris Hawks optimization, IHHO)。首先,初始化阶段引入Circle混沌映射,提高初始化种群多样性和种群位置质量;其次,引入Sigmoid非线性收敛因子,平衡全局探索和局部开发能力;
2024-07-01 13:59:49
220
原创 数字化转型时期的教育实践场景及教师数字胜任力构建
摘 要: 数字技术的发展和社会数字化转型驱动教育数字化转型。在数字化转型时期,教师将面临新的专业发展需求与挑战,其个人专业发展中的主体地位、竞争形式和发展模式均将呈现新的样态。技术将赋能教师个人主体地位提升,助力“弯道超车”式的专业发展竞争,并支持团队协作下的个性化发展。教育将呈现崭新的形态,教师也将面临新的教育实践场景。虚实结合的教学场景、人机协同的育人模式、旨在高阶能力培养的学习活动、数据循证的教学决策将成为教学的新常态。在此基础上,针对数字化转型时期的教育实践场景,比较分析国内外教师数字胜任力框架,立
2024-06-25 13:31:36
295
原创 数字化转型背景下英国高等教育困境、路向与启示
摘 要: 数字化转型是教育变革的必经之路。作为高等教育数字化转型的先行者,英国积累了丰富的实践经验。相关研究显示,数字经济发展、巩固“科技超级大国地位”、疫情推进是引领英国教育数字化转型的主要动因;而其在实施过程中也暴露出高校领导力不足、基础设施投入不均衡、数字贫困等一系列问题。通过分析英国高等教育数字化转型的动因、框架等核心要素,解读英国政府出台的相关政策文件,尤其是新发布的《高等教育数字化转型框架》等,旨在为我国高等教育数字化转型实践提供参考。基于此,提出构建以组织变革驱动教育要素融合的转型范式,打造以
2024-06-25 13:31:03
378
原创 以数字化转型引领教育场景变革——江苏智慧教育生态建构的实践及愿景
为加快推进数字化转型和智能化提升,江苏积极谋划推进教育新基建布局等八项重点工程,健全完善教育新基础设施等五大支撑体系,努力拓展智慧课堂等十大智慧教育应用场景,不断夯实智慧教育数字底座,持续创新智慧教育应用,探索推进教育场景变革,努力建构智慧教育新生态,积极赋能高质量教育体系、高标准教育强省建设。落实教育网络安全责任制,加强教育数据全生命周期的安全管控,推进网络安全隐患与风险信息的监测和应对,强化教育关键信息基础设施检测、防御、响应等保障服务,绷紧教育数字化“安全弦”,筑牢教育数字化“安全盾”。
2024-06-25 13:30:08
319
原创 主流分布式存储技术对比分析
目前市面上各个厂家的分布式存储产品五花八门,但是如果透过产品本身的包装看到其背后的核心技术体系,基本上会分为两种架构,一种是有中心架构的分布式文件系统架构,以GFS、HDFS为代表;以上是测试本身对于Ceph和Swift的节点及物理对象配置信息,从表的对比,基本可以看出物理硬件配置都是相同的,只不过在Swift的配置当中还需要配置Container相关逻辑对象。3. GFS是一种有中心节点的分布式架构,Master节点是单一的集中管理节点,既是高可用的瓶颈,也是可能出现性能问题的瓶颈。
2024-06-16 16:26:19
954
原创 传统、现在、未来——存储故障处理流程的演变及不同阶段问题分析
智能平台加工整合收集到的异常告警,识别出常见的坏件告警(例如硬盘、电池告警),并基于选定的时间范围,按照既定的模板向ITIL管理平台提交事件工单和变更工单申请。综上所述,为了提升存储告警处理的自动化运维管理水平,一方面需要在告警消息的精准推送上下功夫,在硬件监控平台新增恢复告警,减少告警定位和设备报修中带来的时间人力开销;为进一步优化日常存储告警的处理工作,未来应着力于在ITIL流程中实现工单中模板化的东西由系统推送,并根据监控平台推送的恢复告警来自动反馈工单的解决方案和实施情况等信息。
2024-06-16 16:24:43
757
原创 云平台下存储运维的变革与实践
就当前的现状来看,基于存储的复制,系统恢复仍然需要较长时间,高可用方案,包括存储层面的高可用,OS层的卷镜像,Oracle的ASM,基于应用的复制方案等,管理上也更复杂。虽然存储系统做了很多的容错机制,如不同类型的RAID,阵列双活等,防止出现数据不可用或数据丢失等情况,但是若能提前获知某个部件即将发生故障,如硬盘的失效,通过硬盘的SMART信息,学习硬盘在失效前的模式,构建机器学习模型,提前预测出故障盘,及时进行更换,可极大程度避免由于多盘故障导致的数据丢失问题。另一类是日志异常,如异常打印。
2024-06-16 16:23:27
1013
原创 企业信创中间件落地的 9 个实践经验:从选型测试到使用和运维
【摘要】信创中间件多种多样,企业如何选择?企业对信创中间件的使用范围越来越广、程度越来越深,使用过程中有哪些注意事项?本文作者将结合实践,从POC阶段到上线运行以及运维的全生命周期进行总结分析,重点会围绕9个大方面进行,希望为广大同行提供有价值的参考。随着各个行业对IT系统建设自主可控要求的提升,各个企业对信创中间件的使用范围也越来越广、深度越来越深。与此同时,信创中间件涉及的产品和种类也是多种多样,对于一个企业而言要从哪些维度来评估信创中间件,从而选择适合自己的信创中间件产品,以及在使用信创中间件过程中有
2024-06-16 16:21:33
1092
原创 基于开源软件、产品构建的存储底座有哪些运维与安全风险?
本章节将阐述安全风险遇到的挑战及应对策略。(1)缺乏安全认证机制:Hadoop中没有用户身份认证机制,任何用户都可以伪装成其他用户访问其在HDFS上的数据,获取MapReduce产生的结果,从而存在恶意攻击者假冒身份,篡改HDFS上他人的数据,提交恶意作业破坏系统、修改节点服务器的状态等隐患。性能调优和监控:不同开源存储系统的架构和工作原理不同,需要研究对性能有影响的各种指标并根据业务场景做针对性的调优,这种工作要配合监控一起来做,并持续进行,因此需要建立完善的监控体系,以及时发现和解决潜在问题。
2024-06-16 16:19:53
126
原创 国内三大云厂商(华为、腾讯、阿里)云主体框架对比
云计算作为数字经济的底座,华为云、阿里云、腾讯云等云厂商整体处于第一梯队。大禹是飞天内核中负责提供配置管理和部署的模块,它包括一套为集群的运维人员提供的完整工具集,功能涵盖了集群配置信息的集中管理、集群的自动化部署、集群的在线升级、集群扩容、集群缩容,以及为其他模块提供集群基本信息等。盘古是一个分布式文件系统,提供一个海量的、可靠的、可扩展的数据存储服务,将集群中各个节点的存储能力聚集起来,自动屏蔽软硬件故障,提供大规模、高可靠、高可用、高吞吐量和可扩展的存储服务,是飞天平台内核中的一个重要组成部分。
2024-06-16 16:17:41
1812
原创 性能测试、分析、优化的方法论
理论来源于实践又服务于实践,在笔者多年的IT经验中,性能问题一直是相对复杂的高阶问题,从性能测试到分析再到优化,考验的是工程师的综合IT技能。希望通过方法论的学习,可以帮助工程师在复杂纷乱的环境下明确性能目标,制定合理可行的性能测试计划,有针对性的进行性能分析,发现系统真正的性能瓶颈,并最终能够进行有效的性能优化。使用率超过60%可能会是问题,基于以下理由:时间间隔的均值,可能掩盖了100%使用率的短期爆发,另外,一些资源,诸如硬盘(不是CPU),通常在操作期间是不能被中断的,即使做的是优先级较高的工作。
2024-06-16 16:16:10
93
原创 数据库信创转型中选型的基本原则和关键因素
但是大多数企业在面对这个命题的时候可能会感到迷茫,从最初的Db2、Sybase替换为Oracle是顺应单机架构向高可用架构转变的技术趋势,今天面临的是完全不一样的环境背景,那么今天的抉择又应如何考虑呢?实际场景中,不同的企业有不同的IT背景和不同的诉求,在把握核心基本原则和要素的前提下,谋求业务发展的创新和蜕变或许是一种更有积极意义和现实价值的转型,但是这种变革需要以业务因素为驱动力,组织业务、管理、科技等各个条线共同参与并推进的整体战略。如能趁势实现业务的创新以及传统科技的变革,将会真正实现企业的蜕变。
2024-06-16 16:15:00
913
原创 主流国产数据库存储架构层的差异分析
本文将从金融行业出发,通过聚焦信创数据库主流产品的存储架构,探讨信创国产数据库的本地存储和集中式存储在产品设计上的异同分析、难点分析、面临挑战及当前解决方案,最后将对数据库自主可控方向做一些探述。3) 数据一致性问题:金融行业的交易数据要求高度一致性,任何数据的不一致都可能导致交易失败或损失,必须保证数据库的数据一致性,如果无法保证数据一致性,就会存在交易失败或损失的风险。2) 优化存储引擎的实现,采用混合存储模式或LSM-Tree和B+Tree混合实现,加强数据压缩和索引机制,提高数据存储和检索效率。
2024-06-16 16:14:28
1215
原创 某银行基于容器负载均衡信创替代,实现完整全自动对外服务暴露的流水线实践
同时,容器云集群pod ip通过calico BGP对外宣告,满足全网可达条件。结合我行实际情况,为实现业务应用的全面自主可控,在2023年开始在信创负载均衡领域进行探索,适配现部署架构模型,充分考虑现有业务与未来业务需求并结合金融行业对信创负载均衡的使用与管理需求,邀请多家厂商开展入场POC测试,评价模型中的10个必要评价维度逐级细分为189个测试评价项,分为传统负载均衡和容器负载均衡部分测试,性能测试放在传统负载均衡测试中,重复性较强就不再赘述,以下主要是容器负载均衡相关测试项。
2024-06-16 16:13:56
1139
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人