
数据分析
文章平均质量分 86
数据分析方法:机器学习、归因分析、数据特征(周期、突变、趋势、波动等)
有梦想的Frank博士
遥感水文参量(降水、土壤水、地表温度)、极端水文事件(干旱、洪水、滑坡)博士在读中,欢迎大家交流学习进步
展开
-
基于MODIS观测的全球格点数据处理与GeoTIFF栅格化存储
这段 MATLAB 代码的目的是从 MODIS 观测火灾数据(2001-2021)创建全球 0.1° 分辨率的 GeoTIFF 栅格数据,并按年和月存储 FDI(火灾指数)和 Daynight(昼夜信息)数据。其主要创新点在于:高效的空间索引处理:利用 discretize 计算经纬度索引,确保数据正确匹配到栅格。灵活的时间分组:支持按年份和月份分别统计 FDI 和 Daynight 数据。最大化数据填充策略:使用 accumarray 按栅格计算 FDI 和 Daynight 的最大值。原创 2025-04-01 22:18:49 · 214 阅读 · 0 评论 -
鸡生蛋还是蛋生鸡? 基于python的CCM因果关系计算
因果推断在科学研究中起着重要的作用,尤其是在复杂系统中,例如生态学、气候学、经济学等领域。在这些领域中,了解变量之间的因果关系可以帮助我们更好地理解系统的动态行为和相互作用。传统的相关性分析并不足以揭示因果性,因为相关性不代表因果关系。为了有效地解决这一问题,Convergent Cross Mapping (CCM) 被提出作为一种基于非线性动力学理论的因果推断方法。CCM 可以用来识别时间序列数据之间的因果关系,特别是在动态复杂系统中,其中变量之间可能存在交互作用或反馈机制。原创 2025-03-26 17:49:58 · 909 阅读 · 0 评论 -
Python 利用随机森林评估农业干旱的动态可预测性与关键因子
该代码的核心目的是评估农业干旱的动态可预测性,并识别影响其预测精度的关键因子。通过构建随机森林模型并进行变量重要性分析,该方法可以有效识别哪些气象、陆面状态、陆气反馈或海陆遥相关因子在农业干旱预测中起主要作用。参考文献。原创 2025-03-18 15:44:12 · 870 阅读 · 0 评论 -
《自然》:陆地蒸散量研究的统计失误被撤回-空间加权平均的计算方法
自然》期刊于2021年5月26日发表了一篇题为“A 10 per cent increase in global land evapotranspiration from 2003 to 2019”的论文,研究显示2003年至2019年间全球陆地蒸散量增加了10% ± 2%。该研究曾为全球陆地蒸散量研究提供了重要数据和方向,但因统计错误于2022年2月24日被撤稿。问题在于作者在计算全球平均降水量时,错误地使用了算术平均值,而非考虑纬度变化的空间加权平均值。原创 2025-03-17 21:52:19 · 1058 阅读 · 0 评论 -
基于Bayes-Copula方法的用于植被脆弱性评估-栅格版
基于Copula-Bayes方法,构建了一个用于植被脆弱性评估的框架,并进一步应用于栅格数据分析。通过精确评估不同干旱条件下植被的损失概率及其空间分布。原创 2025-02-25 12:08:12 · 1093 阅读 · 0 评论 -
气象干旱触发水文(农业)干旱的概率及其触发阈值的动态变化-贝叶斯copula模型
本文通过建立不同类型干旱传播过程的触发阈值模型,解析了在不同等级气象干旱胁迫下诱发次一级干旱类型的触发阈值。通过贝叶斯概率模型,我们推导了气象干旱与水文干旱、农业干旱、地下水干旱之间的条件概率关系,进一步明确了气象干旱引发水文干旱、农业干旱和地下水干旱的概率及其触发阈值。该模型有效揭示了气象干旱对各级干旱类型的传播机制及其动态变化,为干旱预警系统的建立和水资源管理提供了理论依据和技术支持。原创 2025-02-24 23:10:50 · 1036 阅读 · 0 评论 -
基于Python对三维数据做空间相关分析
读取两个 .nc 格式的气候数据文件 (SPEI.nc 和 SRI.nc),并进行相关性分析。具体来说,代码从数据文件中提取特定变量,计算这些变量与另一个变量之间的相关系数,并进行显著性检验。最终,相关系数和显著性结果以全球地图的形式可视化展示。原创 2024-07-21 11:25:43 · 437 阅读 · 0 评论 -
基于python的时空地理加权回归(GTWR)模型
时空地理加权回归(GTWR)模型是由美国科罗拉多州立大学的Andy Liaw、Stanley A. Fiel和Michael E. Bock于2008年提出的一种高级空间统计分析方法。它是在传统地理加权回归(GWR)模型的基础上发展起来的,通过结合时间和空间两个维度,提供了一种更为灵活和精确的时空数据分析手段。背景和发展传统的地理加权回归(GWR)模型主要关注地理空间上的数据变化,通过引入地理位置的权重,来刻画不同地理位置下变量之间的关系。原创 2024-07-21 11:05:11 · 6822 阅读 · 3 评论 -
基于Python的非平稳时间序列模型
平稳时间序列指的是宽平稳时间序列,就是指时间序列的均值、方差和协方差等一二阶矩存在但不随时间改变,表现为时间的常数。若三个条件有一个不成立,那么就称该序列为非平稳时间序列。包括确定性趋势时间序列和随机性趋势时间序列。要想把非平稳的时间序列转化为平稳的时间序列,需要去趋势和差分方法消除确定性趋势和随机性趋势。实际数据分析中,一阶差分提取线性趋势、二阶或三阶等地阶差分提取曲线趋势,对于含有季节趋势的数据,通常选取差分的步长等于季节的周期可以较好地提取季节信息。原创 2024-07-20 20:22:11 · 721 阅读 · 0 评论 -
去趋势波动分析方法-捕捉时间序列数据在不同尺度上的变化特性
总结来说,这段文字详细描述了降时间序列中分形和多分形理论的应用,并解释了传统方法的局限性和新方法(如 DFA)的优势。通过这些方法,可以更准确地分析和建模时间序列过程中的复杂性和多尺度特性。分形分析在确定阈值方面有多个好处,特别是在处理复杂和非线性时间序列数据时。捕捉多尺度特性分形分析能够捕捉时间序列数据在不同尺度上的变化特性。这意味着可以更精确地识别和定义在不同时间尺度上显现的重要阈值,这些阈值可能在传统方法中被忽视。识别非线性行为。原创 2024-07-17 22:33:48 · 1815 阅读 · 0 评论 -
Matlab 将三维矩阵分块计算然后组合计算结果
矩阵的分块计算,研究过程中随手放网上造福广大科研人员,当然也防止忘记找不到了。原创 2024-07-08 17:02:22 · 465 阅读 · 0 评论 -
基于python的数据分解-趋势-季节性-波动变化
时间序列数据的分解,一般分为趋势项,季节变化项和随机波动项。如何分解呢?原创 2024-07-06 22:59:24 · 766 阅读 · 0 评论 -
全网最全:基于Matlab的多维小波相干(MWC)、偏小波(PWC)与全局相干性
在前面我们提到了两个变量的交叉小波分析,一个自变量和一个因变量,但在实际中,某一变量往往受多个其它变量的影响。我们往往关注在不同尺度与时间/空间位置上,因变量如何受多个变量的影响。虽然一些多变量方法例如多变量谱一致性(multiple spectral coherence)、多变量经验模态分解(multivariate empirical mode decomposition)可以分析多变量之间在不同尺度上的相关性,但是这些方法都假设相关性特征不随时间/空间位置变化。原创 2024-05-16 17:18:30 · 2975 阅读 · 1 评论 -
全网最清楚:基于Matlab两个时间序列之间的交叉小波相干性
在MATLAB中实现小波相干(Wavelet Coherence)是一种强大的频域分析技术,可以帮助我们理解时间序列数据之间的相互关系,揭示不同频率下的相关性和变化趋势。本文将介绍小波相干的基本原理、在MATLAB中的实现步骤以及示例代码,帮助读者掌握这一重要的数据分析工具。原创 2024-05-16 16:02:35 · 6081 阅读 · 0 评论 -
Copula 应用(2):优化藤 Copula 的桥梁结构系统地震易损性分析
该方法与现有的考虑构件类别之间相关性的桥梁系统易损性分析不同, 是将桥梁系统包含的各个构件的易损性作为藤Copula 函数中的一个变量。选用四跨有桥台混凝土桥梁结构模型, 用桥梁剩余能力模型模拟桥梁的损伤, 用提出的方法分析具有桥墩桥台和支座共 10个构件个体相关性的桥梁系统易损性, 并与目前通常采用的考虑构件类别之间相关性的桥梁系统易损性分析以及Monte Carlo(MC)方法的结果对比, 验证提出方法的有效性。这是一篇发在《土木工程学报》上的文章,是高维Copula在土木工程方向的应用。原创 2024-04-04 23:24:38 · 1360 阅读 · 0 评论 -
Copula应用(1):基于高维 Copula 函数的 风、光、负荷的出力场景生成
针对具有相关性的风、光和负荷出力典型场景难以生成的问题,本文首先得到风、光和负荷的最优边缘分布估计表达式,然后建立多种基于 Copula 函数的风、光和负荷电场出力联合分布模型,判断各个模型的拟合优度,选取最优 Copula 函数作为风电、光伏和负荷联合概率分布,最后采用最优 Copula 联合概率分布生成出力场景。原创 2024-04-04 23:02:38 · 1987 阅读 · 4 评论 -
基于Matlab的粒子群(PSO)优化的长短期记忆网络(LSTM)代码
长短期记忆网络(LSTM)凭借其在时间序列分析中的强大能力,尤其在天气预测等领域显示出其重要性。原创 2024-03-22 22:48:52 · 1070 阅读 · 1 评论 -
基于Matlab的通径分析法代码
气温 (降水) 对植被绿度的直接影响是在不考虑降水 (气温) 变化的影响时,由于气温 (降水) 的变化对植被绿度产生的影响;此外,气温 (降水) 的变化会引起降水(气温) 变化,进而影响植被绿度,即气温 (降水) 对植被绿度的间接影响;原创 2024-03-22 18:27:36 · 1085 阅读 · 1 评论 -
基于Matlab的层次分析法代码
层次分析法(AHP)的核心计算过程,包括一致性检验和计算层次总排序权重。层次分析法是一种定性和定量结合的决策分析方法,用于解决复杂的决策问题。原创 2024-03-22 16:30:39 · 1873 阅读 · 1 评论 -
(6)计算两个栅格变量数据的Copula联合概率分布
在多维时间和空间上生成基于栅格尺度的联合概率分布和多维概率分布概率。比如一个简单的问题,2000-2020年某个区域每日的温度和降水的联合概率分布,这样计算出整个区域的概率分布特征。原创 2024-03-22 00:24:43 · 1983 阅读 · 8 评论 -
基于Matlab计算自变量的偏相关系数随时间的变化趋势并绘制置信区间
计算偏相关系数:对于 2007 到 2020 年的每个月,计算特定列的数据与另一列的偏相关系数,过滤掉了 Y 值小于 0 的行。最后,去除了相关系数数组中的 NaN 值,并将相关系数的绝对值乘以 100。置信区间绘图:绘制调整趋势后的相关系数 (corr-detrend(corr)) 的线图,并添加置信区间。之后,使用 interp1 进行插值以获得更平滑的曲线,并用 fill 函数添加置信区间的填充色。清理数据:从 Excel 文件中读取数据,并移除包含 NaN 或负数的行。原创 2024-03-09 23:47:50 · 1611 阅读 · 1 评论 -
基于Matlab的多元非线性回归代码
要在MATLAB中进行多元非线性回归,你需要定义一个非线性模型,然后使用该模型和你的数据进行回归分析。以下是一个简化的示例,演示如何针对一个假定的非线性模型和虚构数据计算因子a的回归系数。此示例仅用于说明目的,实际应用中你需要根据实际情况调整模型和分析。原创 2024-03-09 23:23:18 · 4938 阅读 · 1 评论 -
(5)如何判断数据符合哪一种分布
前面我讲了大量关于Copulas的联合概率计算方案,这里面有个很重要的问题,也是Copula计算的第一步,怎么确定一组数据的最优分布和累计概率分布?不足之处欢迎大家批评指正。原创 2024-03-09 23:04:19 · 7028 阅读 · 2 评论 -
(4)高维copula的计算原理和代码
Vine copula为灵活建模多变量数据提供了一种更通用的方法。他们一开始由Joe[1996]提出,然后由Bedford和Cooke[2002]和Kurowicka和Cooke[2006]进一步发展。Vine copula是层次化的图形模型,它使用丰富的二元copula(所谓的pair对)来描述多元copula)作为构建模块。原创 2024-03-08 22:48:12 · 4353 阅读 · 1 评论 -
(3)这可能是多变量联合分布函数Copula的最全的计算公式分享了
全网最全的Copula多维应用公式整理原创 2024-02-12 09:47:56 · 5383 阅读 · 4 评论 -
(1) 多变量联合分布函数Copula 二维copula重现期matlab制图代码
本文采用常见的单变量分布函数,如Weibull-Copula、Gamma-Copula、Exp-Copula、Normal-Copula和Lognormal-Copula等,采用极大似然法估算参数,并通过拟合优度检验(goodness-o-fit test)来判断一组数据是否服从于以上某种分布,常用的拟合优度检验方法有Q-Q图法、Kolmogorov-Smimov(K-S)检验等,其中K-S检验(Kolmogorov-Smirnov test)结果较为精准,本文采用K-S检验确立最优的边缘分布函数。转载 2024-02-03 00:57:29 · 3736 阅读 · 1 评论