数据分析
文章平均质量分 85
数据分析方法:机器学习、归因分析、数据特征(周期、突变、趋势、波动等)
有梦想的Frank博士
遥感水文参量(降水、土壤水、地表温度)、极端水文事件(干旱、洪水、滑坡)博士在读中,欢迎大家交流学习进步
展开
-
基于Python对三维数据做空间相关分析
读取两个 .nc 格式的气候数据文件 (SPEI.nc 和 SRI.nc),并进行相关性分析。具体来说,代码从数据文件中提取特定变量,计算这些变量与另一个变量之间的相关系数,并进行显著性检验。最终,相关系数和显著性结果以全球地图的形式可视化展示。原创 2024-07-21 11:25:43 · 340 阅读 · 0 评论 -
基于python的时空地理加权回归(GTWR)模型
时空地理加权回归(GTWR)模型是由美国科罗拉多州立大学的Andy Liaw、Stanley A. Fiel和Michael E. Bock于2008年提出的一种高级空间统计分析方法。它是在传统地理加权回归(GWR)模型的基础上发展起来的,通过结合时间和空间两个维度,提供了一种更为灵活和精确的时空数据分析手段。背景和发展传统的地理加权回归(GWR)模型主要关注地理空间上的数据变化,通过引入地理位置的权重,来刻画不同地理位置下变量之间的关系。原创 2024-07-21 11:05:11 · 4970 阅读 · 2 评论 -
基于Python的非平稳时间序列模型
平稳时间序列指的是宽平稳时间序列,就是指时间序列的均值、方差和协方差等一二阶矩存在但不随时间改变,表现为时间的常数。若三个条件有一个不成立,那么就称该序列为非平稳时间序列。包括确定性趋势时间序列和随机性趋势时间序列。要想把非平稳的时间序列转化为平稳的时间序列,需要去趋势和差分方法消除确定性趋势和随机性趋势。实际数据分析中,一阶差分提取线性趋势、二阶或三阶等地阶差分提取曲线趋势,对于含有季节趋势的数据,通常选取差分的步长等于季节的周期可以较好地提取季节信息。原创 2024-07-20 20:22:11 · 677 阅读 · 0 评论 -
去趋势波动分析方法-捕捉时间序列数据在不同尺度上的变化特性
总结来说,这段文字详细描述了降时间序列中分形和多分形理论的应用,并解释了传统方法的局限性和新方法(如 DFA)的优势。通过这些方法,可以更准确地分析和建模时间序列过程中的复杂性和多尺度特性。分形分析在确定阈值方面有多个好处,特别是在处理复杂和非线性时间序列数据时。捕捉多尺度特性分形分析能够捕捉时间序列数据在不同尺度上的变化特性。这意味着可以更精确地识别和定义在不同时间尺度上显现的重要阈值,这些阈值可能在传统方法中被忽视。识别非线性行为。原创 2024-07-17 22:33:48 · 1433 阅读 · 0 评论 -
Matlab 将三维矩阵分块计算然后组合计算结果
矩阵的分块计算,研究过程中随手放网上造福广大科研人员,当然也防止忘记找不到了。原创 2024-07-08 17:02:22 · 403 阅读 · 0 评论 -
基于python的数据分解-趋势-季节性-波动变化
时间序列数据的分解,一般分为趋势项,季节变化项和随机波动项。如何分解呢?原创 2024-07-06 22:59:24 · 634 阅读 · 0 评论 -
全网最全:基于Matlab的多维小波相干(MWC)、偏小波(PWC)与全局相干性
在前面我们提到了两个变量的交叉小波分析,一个自变量和一个因变量,但在实际中,某一变量往往受多个其它变量的影响。我们往往关注在不同尺度与时间/空间位置上,因变量如何受多个变量的影响。虽然一些多变量方法例如多变量谱一致性(multiple spectral coherence)、多变量经验模态分解(multivariate empirical mode decomposition)可以分析多变量之间在不同尺度上的相关性,但是这些方法都假设相关性特征不随时间/空间位置变化。原创 2024-05-16 17:18:30 · 2419 阅读 · 1 评论 -
全网最清楚:基于Matlab两个时间序列之间的交叉小波相干性
在MATLAB中实现小波相干(Wavelet Coherence)是一种强大的频域分析技术,可以帮助我们理解时间序列数据之间的相互关系,揭示不同频率下的相关性和变化趋势。本文将介绍小波相干的基本原理、在MATLAB中的实现步骤以及示例代码,帮助读者掌握这一重要的数据分析工具。原创 2024-05-16 16:02:35 · 4278 阅读 · 0 评论 -
Copula 应用(2):优化藤 Copula 的桥梁结构系统地震易损性分析
该方法与现有的考虑构件类别之间相关性的桥梁系统易损性分析不同, 是将桥梁系统包含的各个构件的易损性作为藤Copula 函数中的一个变量。选用四跨有桥台混凝土桥梁结构模型, 用桥梁剩余能力模型模拟桥梁的损伤, 用提出的方法分析具有桥墩桥台和支座共 10个构件个体相关性的桥梁系统易损性, 并与目前通常采用的考虑构件类别之间相关性的桥梁系统易损性分析以及Monte Carlo(MC)方法的结果对比, 验证提出方法的有效性。这是一篇发在《土木工程学报》上的文章,是高维Copula在土木工程方向的应用。原创 2024-04-04 23:24:38 · 1257 阅读 · 0 评论 -
Copula应用(1):基于高维 Copula 函数的 风、光、负荷的出力场景生成
针对具有相关性的风、光和负荷出力典型场景难以生成的问题,本文首先得到风、光和负荷的最优边缘分布估计表达式,然后建立多种基于 Copula 函数的风、光和负荷电场出力联合分布模型,判断各个模型的拟合优度,选取最优 Copula 函数作为风电、光伏和负荷联合概率分布,最后采用最优 Copula 联合概率分布生成出力场景。原创 2024-04-04 23:02:38 · 1736 阅读 · 3 评论 -
基于Matlab的粒子群(PSO)优化的长短期记忆网络(LSTM)代码
长短期记忆网络(LSTM)凭借其在时间序列分析中的强大能力,尤其在天气预测等领域显示出其重要性。原创 2024-03-22 22:48:52 · 1021 阅读 · 1 评论 -
基于Matlab的通径分析法代码
气温 (降水) 对植被绿度的直接影响是在不考虑降水 (气温) 变化的影响时,由于气温 (降水) 的变化对植被绿度产生的影响;此外,气温 (降水) 的变化会引起降水(气温) 变化,进而影响植被绿度,即气温 (降水) 对植被绿度的间接影响;原创 2024-03-22 18:27:36 · 979 阅读 · 1 评论 -
基于Matlab的层次分析法代码
层次分析法(AHP)的核心计算过程,包括一致性检验和计算层次总排序权重。层次分析法是一种定性和定量结合的决策分析方法,用于解决复杂的决策问题。原创 2024-03-22 16:30:39 · 1719 阅读 · 1 评论 -
(6)计算两个栅格变量数据的Copula联合概率分布
在多维时间和空间上生成基于栅格尺度的联合概率分布和多维概率分布概率。比如一个简单的问题,2000-2020年某个区域每日的温度和降水的联合概率分布,这样计算出整个区域的概率分布特征。原创 2024-03-22 00:24:43 · 1730 阅读 · 8 评论 -
基于Matlab计算自变量的偏相关系数随时间的变化趋势并绘制置信区间
计算偏相关系数:对于 2007 到 2020 年的每个月,计算特定列的数据与另一列的偏相关系数,过滤掉了 Y 值小于 0 的行。最后,去除了相关系数数组中的 NaN 值,并将相关系数的绝对值乘以 100。置信区间绘图:绘制调整趋势后的相关系数 (corr-detrend(corr)) 的线图,并添加置信区间。之后,使用 interp1 进行插值以获得更平滑的曲线,并用 fill 函数添加置信区间的填充色。清理数据:从 Excel 文件中读取数据,并移除包含 NaN 或负数的行。原创 2024-03-09 23:47:50 · 1421 阅读 · 1 评论 -
基于Matlab的多元非线性回归代码
要在MATLAB中进行多元非线性回归,你需要定义一个非线性模型,然后使用该模型和你的数据进行回归分析。以下是一个简化的示例,演示如何针对一个假定的非线性模型和虚构数据计算因子a的回归系数。此示例仅用于说明目的,实际应用中你需要根据实际情况调整模型和分析。原创 2024-03-09 23:23:18 · 4335 阅读 · 1 评论 -
(5)如何判断数据符合哪一种分布
前面我讲了大量关于Copulas的联合概率计算方案,这里面有个很重要的问题,也是Copula计算的第一步,怎么确定一组数据的最优分布和累计概率分布?不足之处欢迎大家批评指正。原创 2024-03-09 23:04:19 · 5758 阅读 · 2 评论 -
(4)高维copula的计算原理和代码
Vine copula为灵活建模多变量数据提供了一种更通用的方法。他们一开始由Joe[1996]提出,然后由Bedford和Cooke[2002]和Kurowicka和Cooke[2006]进一步发展。Vine copula是层次化的图形模型,它使用丰富的二元copula(所谓的pair对)来描述多元copula)作为构建模块。原创 2024-03-08 22:48:12 · 3485 阅读 · 1 评论 -
(3)这可能是多变量联合分布函数Copula的最全的计算公式分享了
全网最全的Copula多维应用公式整理原创 2024-02-12 09:47:56 · 4428 阅读 · 4 评论 -
(1) 多变量联合分布函数Copula 二维copula重现期matlab制图代码
本文采用常见的单变量分布函数,如Weibull-Copula、Gamma-Copula、Exp-Copula、Normal-Copula和Lognormal-Copula等,采用极大似然法估算参数,并通过拟合优度检验(goodness-o-fit test)来判断一组数据是否服从于以上某种分布,常用的拟合优度检验方法有Q-Q图法、Kolmogorov-Smimov(K-S)检验等,其中K-S检验(Kolmogorov-Smirnov test)结果较为精准,本文采用K-S检验确立最优的边缘分布函数。转载 2024-02-03 00:57:29 · 3081 阅读 · 1 评论