- 博客(17)
- 收藏
- 关注
原创 多目标优化不完全汇总✅
给定决策变量 x∈Ω(可行域),优化 k个目标函数 f1(x),f2(x),...,fk(x),目标是找到一组解 {x∗},使得不存在其他解 x对所有目标满足 fi(x)≤fi(x∗)(至少一个严格更优)。这类解构成。
2025-12-10 11:46:26
386
原创 问题数据处理办法—数据异常✅
异常值(Outliers)是数据中偏离正常模式或预期范围的观测值,可能由数据错误(如测量误差、录入错误)或真实事件(如极端天气、欺诈行为)引起。合理检测与处理异常值,既能保证数据质量,又能避免遗漏关键信息。以下从和两方面系统汇总,并结合适用场景与注意事项。根据数据特性(如分布、时序性)和异常值性质(如错误 vs 真实),检测方法可分为统计检验、距离/密度、机器学习、时序特有及可视化五大类。适用于数据近似服从已知分布(如正态分布)的场景,核心是通过统计量判断“偏离程度”。
2025-11-14 13:11:12
848
原创 时序数据库数据质量优化与挖掘办法不完全汇总✅
计算时间窗口内数据的均值,替代原始值(如3点移动平均:yt=(xt−1+xt+xt+1)/3)。:先分解数据为趋势(Trend)、季节(Seasonal)、残差(Residual),对残差插值后重组。:对数据特征(如时间戳+设备ID+值)生成哈希值,通过布隆过滤器(Bloom Filter)快速判重。:假设两点间数据线性变化,填充缺失值(xt=xt−1+(xt+1−xt−1)/2)。:赋予近期数据更高权重(yt=αxt+(1−α)yt−1,α为平滑系数)。
2025-11-13 17:06:10
847
原创 数据库分类不完全汇总✅
HBase(基于Hadoop,适合PB级数据)、Cassandra(高可用,支持跨数据中心复制)、ScyllaDB(C++实现,兼容Cassandra API,性能更高)。以“二维表”(关系)存储数据,通过SQL(结构化查询语言)操作,严格遵循ACID事务特性(原子性、一致性、隔离性、持久性),支持复杂关联查询。:以“节点(Node)-边(Edge)-属性(Property)”表示数据,专注于高效处理“关系密集型”数据(如社交网络、知识图谱)。
2025-11-13 16:49:10
841
原创 世界模型在各领域应用的挑战与趋势:工业物联网、环境科学、生物领域解析
挑战在于如何平衡“模型复杂度”与“落地可行性”,趋势则聚焦“多模态融合”“可解释性”“边缘智能”等技术突破,以及“设备-环境-生物”跨领域协同。:设备数据来自不同厂商(如西门子PLC、霍尼韦尔传感器),协议(Modbus、OPC UA)与格式(时序、图像、文本)异构,且产线数据存在“瞬态峰值”(如设备故障时毫秒级高频采样),难以统一建模。:不同设备(如电机、阀门、机器人)的运行机理、故障模式差异大,模型需融合“机理知识”(如电机热力学方程)与“数据驱动规律”(如振动信号时序模式),避免“数据孤岛”。
2025-11-12 17:29:52
755
原创 模型拟合问题不完全汇总✅
如果激活函数的梯度很小(如 Sigmoid、Tanh),连续相乘后梯度会指数级减小,导致底层网络的权重几乎不更新。:将预处理步骤(如缩放、填充)作为模型管道的一部分,确保只从训练数据中学习参数(如均值、方差),并应用到测试数据上。:不同特征的取值范围(量纲)差异巨大(如年龄 vs. 工资),导致损失函数呈“狭长的椭圆形”,梯度下降路径曲折。:例如,在特征缩放或填充缺失值时,先在整个数据集上计算均值和方差,再划分训练/测试集。:引入 L1(Lasso)或 L2(Ridge)正则化,惩罚过大的模型参数。
2025-11-12 04:21:46
611
原创 系统建模与优化:理论框架、方法技术及应用不完全汇总
建立模型的过程是我们认识世界的过程,而模型的优化求解和方案实施则是改造世界的过程,优化算法的重要性可见一斑。系统建模与优化是连接现实问题与科学决策的桥梁,广泛应用于工程管理、能源调度、交通物流、生态保护等领域。其核心逻辑是:通过抽象化手段将复杂系统转化为可计算、可分析的数学或仿真模型,再运用运筹学与优化理论挖掘系统运行规律,最终实现资源配置效率提升、目标函数最优或风险可控。本文从系统建模的理论与方法、运筹学的核心框架、优化的关键技术,以及三者的协同应用与未来趋势展开综述。系统建模是对真实系统进行简化、抽象与
2025-11-11 17:42:33
739
原创 机理模型:基于第一性原理的系统行为描述与预测工具
尽管面临复杂系统建模与数据稀缺的挑战,但其与数据驱动模型的融合(如PINN、参数校准)正在释放更大潜力——在航空航天、药物研发、气候变化等“既要精度又要信任”的领域,机理模型仍是不可替代的核心工具,未来将成为AI从“感知智能”迈向“认知智能”的关键桥梁。:对流-扩散方程(描述污染物在水/气中的输运)、吸附-解吸动力学(污染物与土壤/沉积物的结合)、降解转化(光解、水解、微生物降解)。:通过微分方程描述捕食者(如狼)与猎物(如鹿)的数量波动,预测生态失衡风险(如加拿大猞猁与雪兔种群周期模拟,误差<8%);
2025-11-11 07:49:22
888
原创 基于数据驱动的模型✅
数据驱动模型是AI发展的核心范式,其成功依赖于数据、算法与计算资源的协同。尽管面临数据质量、可解释性等挑战,随着技术进步(如自监督学习、因果推理),数据驱动模型将持续推动各领域的智能化升级,成为解决复杂问题的关键工具。
2025-11-10 19:56:38
685
原创 机理模型与数据驱动模型的区别与联系
机理模型是“基于知识的演绎”,数据驱动模型是“基于数据的归纳”,二者在理论基础、可解释性和适用场景上各有优劣。随着科学技术的进步,二者的融合(如物理信息机器学习)正成为解决复杂系统问题的关键路径——机理模型提供因果解释和先验约束,数据驱动模型扩展建模能力边界,共同推动从“知其然”到“知其所以然”的跨越。
2025-11-08 18:00:22
634
原创 问题数据处理办法汇总✅—数据缺失
最小-最大归一化将值映射到[0,1]区间: [ X_{\text{norm}} = \frac{X - X_{\text{min}}}{X_{\text{max}} - X_{\text{min}}} ] Z-score标准化使数据均值为0、方差为1: [ z = \frac{x - \mu}{\sigma} ] 对数变换适用于右偏分布,Box-Cox变换可处理更复杂的非正态分布。常用检测方法包括Z-score法(阈值通常设为3)、IQR法(1.5倍四分位距之外)或可视化方法如箱线图。
2025-11-08 17:42:44
632
原创 领域应用模型——水文
物理模型基于物理定律(如质量守恒、动量守恒)构建,常用于小流域或实验模拟。典型代表包括SWMM(暴雨洪水管理模型)和HEC-HMS(水文工程中心水文建模系统)。概念模型通过简化物理过程,用数学关系描述水文循环。例如新安江模型和中国水文预报系统(CHFS)。黑箱模型依赖数据驱动,不涉及物理机制。常见方法包括人工神经网络(ANN)、支持向量机(SVM)等。
2025-11-07 01:01:58
500
原创 领域应用模型—物流优化✅
双层优化问题(Bilevel Optimization Problems)包含两个层次:上层优化和下层优化。上层问题的约束条件依赖于下层问题的最优解,通常用于描述领导者-追随者博弈、资源分配等场景。这类问题具有高度复杂性,尤其在非凸、非线性情况下难以求解。黑寡妇算法(Black Widow Optimization Algorithm, BWO)是一种受蜘蛛繁殖行为启发的元启发式算法。种群初始化:随机生成候选解。交配与繁殖:通过模拟蜘蛛的交配行为生成新解。自然选择:淘汰适应度低的个体,保留优质解。
2025-11-06 20:29:14
434
原创 模型的前生今世~
模型”是人类认识世界、改造世界的核心工具,本质是对现实或抽象系统的,用于。其发展贯穿人类文明史,从原始的实用表征到当代的智能模拟,模型的形态、功能和内涵随人类认知升级和技术进步不断演进。
2025-11-05 00:02:45
452
原创 商业数据的定义与重要性
商业数据指企业在运营过程中产生的各类信息,包括销售记录、客户行为、市场趋势、供应链数据等。其核心价值在于通过分析优化决策、提升效率、发现新机会。据IDC预测,2025年全球数据总量将达175ZB,其中商业数据占比超60%,成为数字化转型的关键驱动力。
2025-11-04 21:53:27
378
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅