大数据部落

原文链接：http://tecdat.cn/?p=23991原文出处：拓端数据部落公众号在这个例子中，我们考虑随机波动率模型SV0的应用，例如在金融领域。统计模型随机波动率模型定义如下并为其中yt是因变量，xt是yt的未观察到的对数波动率。N(m,σ2)表示均值m和方差σ2的正态分布。α、β和σ是需要估计的未知参数。BUGS语言统计模型文件内容'sv.bug'：moelfle='sv.bug'#BUGS模型.......

原文链接：http://tecdat.cn/?p=23940原文出处：拓端数据部落公众号时间序列是以固定时间区间记录的观察序列。本指南带你完成在Python中分析一个给定的时间序列的特征的过程。内容什么是时间序列？ 如何在 Python 中导入时间序列？ 什么是面板数据？ 时间序列的可视化 时间序列中的模式 加法和乘法的时间序列 如何将一个时间序列分解成其组成部分？ 平稳的和非平稳的时间序列 如何使一个时间序列成为平稳的？ 如何测试平稳性？ 白噪声和平稳...

原文链接：http://tecdat.cn/?p=23934原文出处：拓端数据部落公众号引言在本文中，我们将尝试为苹果公司的日收益率寻找一个合适的 GARCH 模型。波动率建模需要两个主要步骤。指定一个均值方程（例如 ARMA，AR，MA，ARIMA 等）。 建立一个波动率方程（例如 GARCH, ARCH，这些方程是由 Robert Engle 首先开发的）。要做(1)，你需要利用著名的Box-Jenkins方法，它包括三个主要步骤。识别 估算 诊断检查这三个步.

原文链接：http://tecdat.cn/?p=25610原文出处：拓端数据部落公众号配对交易提出的问题之一是股票的贝塔值相对于市场的不稳定估计。这是一个可能的解决方案的建议，这并不是真正的解决方案。看看下图：Microsoft的滚动系数（回归：MSFT~SPY）- 120 天的窗口，纯蓝色是使用完整样本估计的 beta我们可以看到截距并没有太大的波动，这确实意味着如果市场不波动，MSFT 也不会。然而，beta在稳定的市场（贝塔 = 1）和中性（贝塔 = 0）之间波.

原文链接：http://tecdat.cn/?p=25761原文出处：拓端数据部落公众号VARs的结构也允许联合检验多个方程的限制。例如，检验滞后p的所有回归变量的系数是否为零，可能是有意义的。这相当于检验滞后阶数p-1是正确的原假设。系数估计值的大样本联合正态性很方便，因为它意味着我们可以简单地使用F检验来解决这个检验问题。这种检验统计量的明确公式相当复杂，但我们使用R函数可以轻松完成这种计算。另一种确定最佳滞后长度的方法是像BIC这样的信息标准，我们对单变量时间序列回归进行了介绍..

原文链接：http://tecdat.cn/?p=25770原文出处：拓端数据部落公众号在本文中，我们展示了copulaGARCH方法拟合模拟数据和股票数据并进行可视化。r还提供了一个特殊情况（具有正态或学生t残差）。一、如何在R中对股票x和y的收益率拟合copula模型数据集为了这个例子的目的，我使用了一个简单的股票x和y的收益率数据集（x.txt和y.txt）。首先，我们需要加载数据并将其转换成矩阵格式。也可以选择绘制数据。 x<-r......

太少的条柱可以隐藏一些模式，太多的条柱会夸大小的、可接受的数据更改的价值。例如，如果您有一个表示人身高的要素，并且其中一个观测值包含一个字符串，而不是一个字符串，其奇怪值如 = “abc cm”，并且由于高度不能包含此类值，因此可以安全地将其删除。但是，并非所有ML工作都受到异常值的影响，对于某些算法，您可以安全地忽略它们。例如，由于全球经济危机，一个国家的经济表现急剧下降，一段时间内较低的利率成为常态。根据异常值的性质，您可以保留它们或排除它们，例如，在实验错误的情况下，您希望删除它们。

原文链接：http://tecdat.cn/?p=23010跳跃扩散过程为连续演化过程中的偏差提供了一种建模手段。但是，跳跃扩散过程的微积分使其难以分析非线性模型。本文开发了一种方法，用于逼近具有依赖性或随机强度的多变量跳跃扩散的转移密度。通过推导支配过程时变的方程组，我们能够通过密度因子化来近似转移密度，将跳跃扩散的动态与无跳跃扩散的动态进行对比。在这个框架内，我们开发了一类二次跳跃扩散，我们可以计算出对似然函数的精确近似。随后，我们分析了谷歌股票波动率的一些非线性跳跃扩散模型，在各种漂移、扩散.

原文链接：http://tecdat.cn/?p=23000原文出处：拓端数据部落公众号分解南非GDP数据本文包含各种过滤器，可用于分解南非GDP的方法。我们做的第一件事是清除当前环境中的所有变量。这可以通过以下命令进行。rm(list = ls())graphics.off()载入数据如前所述，南非的GDP数据将其作为时间序列存储在gdp中，我们执行以下命令。gdp <- ts(dat.tmp, start = c(1960, 2), frequency.

原文链接：http://tecdat.cn/?p=22945原文出处：拓端数据部落公众号动态时间规整（DTW,Dynamic time warping,动态时间归整/规整/弯曲）是一种衡量两个序列之间最佳排列的算法。线性序列数据如时间序列、音频、视频都可以用这种方法进行分析。DTW通过局部拉伸和压缩，找出两个数字序列数据的最佳匹配，同时也可以计算这些序列之间的距离。DTW是干什么的？动态时间规整算法，故名思议，就是把两个代表同一个类型的事物的不同长度序列进行时间上的“对齐”.

原文链接：http://tecdat.cn/?p=22673方法Prophet异常检测使用了Prophet时间序列预测。基本的Prophet模型是一个可分解的单变量时间序列模型，结合了趋势、季节性和节假日效应。该模型预测还包括一个围绕估计的趋势部分的不确定性区间。另外，完全的贝叶斯推断也可以以增加计算量为代价。然后，不确定性区间的上限和下限值可以作为每个时间点的离群点阈值。首先，计算从观测值到最近的不确定度边界（上限或下限）的距离。如果观察值在边界内，离群点得分等于负距离。因此，当观测值与模..

原文链接：http://tecdat.cn/?p=22632这篇文章描述了一种对涉及季节性和趋势成分的时间序列的中点进行建模的方法。我们将对一种叫做STL的算法进行研究，STL是"使用LOESS(局部加权回归)的季节-趋势分解"的缩写，以及如何将其应用于异常检测。其基本思想是，如果你有一个有规律的时间序列，你可以通过STL算法运行该序列，并分离出规律的模式。剩下的是"不规则的"，而异常检测相当于判定不规则性是否足够大。例子：航空乘客，1949-1960让我们在数据集上运行该算法..

原文链接：http://tecdat.cn/?p=22617原文出处：拓端数据部落公众号本文提供了一个在统计模型中使用马可夫转换模型模型的例子，来复现Kim和Nelson（1999）中提出的一些结果。它应用了Hamilton（1989）的滤波器和Kim（1994）的平滑器。%matplotlib inlineimport numpy as npimport pandas as pdimport statsmodels.api as smfrom pandas_datarea.

原文链接：http://tecdat.cn/?p=22588今天我们将计算投资组合收益的CAPM贝塔。这需要拟合一个线性模型，得到可视化，从资产收益的角度考虑我们的结果的意义。简单的背景介绍，资本资产定价模型（CAPM）是由威廉·夏普（William Sharpe）创建的一个模型，它根据市场收益和资产与市场收益的线性关系来估算资产的收益。这种线性关系就是股票的贝塔系数。计算CAPM的betas可以作为一个团队工作中更复杂的模型的一个很好的模板。我们将专注于CAPM的一个特定方面：β值。正..

原文链接：http://tecdat.cn/?p=22546资产价格具有随时间变化的波动性（逐日收益率的方差）。在某些时期，收益率是高度变化的，而在其他时期则非常平稳。随机波动率模型用一个潜在的波动率变量来模拟这种情况，该变量被建模为随机过程。下面的模型与 No-U-Turn Sampler 论文中描述的模型相似，Hoffman (2011) p21。这里，r是每日收益率序列，s是潜在的对数波动率过程。建立模型首先，我们加载标普500指数的每日收益率。returns...

原文链接：http://tecdat.cn/?p=22521在大数据的趋势下，我们经常需要做预测性分析来帮助我们做决定。其中一个重要的事情是根据我们过去和现在的数据来预测未来。这种方法我们通常被称为预测。许多情况下都需要预测：决定是否在未来五年内再建一座发电站需要对未来的需求进行预测；安排下周呼叫中心的工作人员需要对呼叫量进行预测；储备库存需要对库存需求进行预测。一个事件的可预测性取决于几个因素，包括。我们对造成这种情况的因素了解得如何。 有多少数据可用。 预测是否能影响我们试图预测的.

原文链接：http://tecdat.cn/?p=22511 标准的ARIMA（移动平均自回归模型）模型允许只根据预测变量的过去值进行预测。该模型假定一个变量的未来的值线性地取决于其过去的值，以及过去（随机）影响的值。ARIMAX模型是ARIMA模型的一个扩展版本。它还包括其他独立（预测）变量。该模型也被称为向量ARIMA或动态回归模型。ARIMAX模型类似于多变量回归模型，但允许利用回归残差中可能存在的自相关来提高预测的准确性。本文练习提供了一个进行ARIMAX模型预测的练习。还..

原文链接：http://tecdat.cn/?p=22360在这篇文章中，我们将学习一种在价格序列中建立波动性模型的标准方法，即广义自回归条件异方差（GARCH）模型。价格波动的 GARCH 模型的思想是利用误差结构的近期实现来预测误差结构的未来实现。更简单地说，我们经常看到在高波动性或低波动性时期的聚类，因此我们可以利用近期的波动性来预测近期的波动性。我们将使用SPY价格来说明波动率的模型。下面的图显示了SPY收益率。colnames(SPYRet) <- c('SPY..

原文链接：http://tecdat.cn/?p=22350在心理学研究中，个人主体的模型正变得越来越流行。原因之一是很难从人之间的数据推断出个人过程。另一个原因是，由于移动设备无处不在，从个人获得的时间序列变得越来越多。所谓的个人模型建模的主要目标是挖掘潜在的内部心理现象变化。考虑到这一目标，许多研究人员已经着手分析个人时间序列中的多变量依赖关系。对于这种依赖关系，最简单和最流行的模型是一阶向量自回归（VAR）模型，其中当前时间点的每个变量都是由前一个时间点的所有变量（包括其本身）预测的（线性..

原文链接：http://tecdat.cn/?p=22071至少有两种非平稳时间序列：具有趋势的时间序列和具有单位根的时间序列（称为单整时间序列）。单位根检验不能用来评估时间序列是否平稳。它们只能检测单整时间序列。季节性单位根也是如此。这里考虑月平均温度数据。> mon=read.table("temp.txt")> plot(mon)现在，我们可以计算所有年份的三个不同平稳性检验的p值for(y in 1955:2013){Temp[which(...

原文链接：http://tecdat.cn/?p=21773概述学习创建时间序列预测的步骤 关注Dickey-Fuller检验和ARIMA（自回归移动平均）模型 从理论上学习这些概念以及它们在python中的实现介绍时间序列（从现在起称为TS）被认为是数据科学领域中鲜为人知的技能之一。使用python创建时间序列预测我们使用以下步骤：时间序列是什么 加载和处理时间序列 如何检验时间序列的平稳性？ 如何使时间序列平稳？ 预测时间序列1.什么是时间序列?...

原文链接：http://tecdat.cn/?p=21757时间序列模型根据研究对象是否随机分为确定性模型和随机性模型两大类。随机时间序列模型即是指仅用它的过去值及随机扰动项所建立起来的模型,建立具体的模型,需解决如下三个问题模型的具体形式、时序变量的滞后期以及随机扰动项的结构。μ是yt的均值；ψ是系数，决定了时间序列的线性动态结构，也被称为权重，其中ψ0=1；{εt}为高斯白噪声序列，它表示时间序列{yt}在t时刻出现了新的信息，所以εt称为时刻t的innovation（新信息）或s.

原文链接：http://tecdat.cn/?p=21573介绍ARIMA模型是时间序列预测中一种常用的统计方法。指数平滑和ARIMA模型是时间序列预测中应用最为广泛的两种方法，它们是解决这一问题的补充方法。指数平滑模型是基于对数据趋势和季节性的描述，而ARIMA模型则是为了描述数据的自相关性。在讨论ARIMA模型之前，我们先来讨论平稳性的概念和时间序列的差分技术。平稳性平稳时间序列数据的性质不依赖于时间，这就是为什么具有趋势或季节性的时间序列不是平稳的。趋势和季节性会在不...

原文链接：http://tecdat.cn/?p=21506当采用两种状态时，单转换函数PSTR模型具有两个变量：我们的经验方法的基础包括评估N个国家的资本流动性。相应的模型定义如下：其中，Iit是第i个国家在时间t时观察到的国内投资与GDP的比率，Sit是国内储蓄与GDP的比率，αi表示单个固定效应。剩余εit假定为i.i.d.（0，σ2ε）。Corbin（2001）特别使用了该模型，该模型有两个主要缺点。首先，它假设在小组的N个国家之间资本的国际流动程度相同，即βi=β，∀i=.

原文链接：http://tecdat.cn/?p=21467目的房价有关的数据可能反映了中国近年来的变化：人们得到更多的资源（薪水），期望有更好的房子 人口众多 独生子女政策：如何影响家庭的几何结构？更多的卧室，更多的空间我核心的想法是预测房价。然而，我不打算使用任何arima模型；相反，我将使用数据的特性逐年拟合回归。结构如下：数据准备：将数值特征转换为分类；缺失值 EDA:对于数值特征和分类特征:平均价格与这些特征的表现 建模： 分割训练/测试给定年份的数据：例如..

原文链接：http://tecdat.cn/?p=20904 环境科学中的许多数据不适合简单的线性模型，最好用广义相加模型（GAM）来描述。

时间序列被定义为一系列按时间顺序索引的数据点。时间顺序可以是每天，每月或每年。以下是一个时间序列示例，该示例说明了从1949年到1960年每月航空公司的乘客数量。时间序列预测时间序列预测是使用统计模型根据过去的结果预测时间序列的未来值的过程。一些示例预测未来的客户数量。 解释销售中的季节性模式。 检测异常事件并估计其影响的程度。 估计新推出的产品对已售出产品数量的影响。时间序列的组成部分：代码：航空公司乘客的ETS分解数据集：# 导入所需的库....

本文从实践角度讨论了季节性单位根。我们考虑一些时间序列，例如道路上的交通流量，> plot(T,X,type="l")> reg=lm(X~T)> abline(reg,col="red")如果存在趋势，我们应该将其删除，然后处理残差> Y=residuals(reg)> acf(Y,lag=36,lwd=3)我们可以看到这里有一些季节性。第一个策略可能是假设存在季节性单位根，因此我们考虑，我们尝试找到ARMA模型。考虑时间序列的....

原文链接：http://tecdat.cn/?p=20424介绍时间序列为预测未来数据提供了方法。根据先前的值，时间序列可用于预测经济，天气的趋势。时间序列数据的特定属性意味着通常需要专门的统计方法。在本教程中，我们将首先介绍和讨论自相关，平稳性和季节性的概念，然后继续应用最常用的时间序列预测方法之一，称为ARIMA。Python中可用的一种用于建模和预测时间序列的未来点的方法称为SARIMAX，它表示带有季节性回归的季节性自回归综合移动平均线。在这里，我们将主要关注ARIMA，....

本文将说明金融数学中的R 语言优化投资组合，因子模型的实现和使用。具有单一市场因素的宏观经济因素模型我们将从一个包含单个已知因子（即市场指数）的简单示例开始。该模型为其中显式因子ft为S＆P 500指数。我们将做一个简单的最小二乘（LS）回归来估计截距α和加载β：大多数代码行用于准备数据，而不是执行因子建模。让我们开始准备数据：library(xts)library(quantmod)# 设置开始结束日期和股票名称列表begin_date <- "2016-01

原文链接：http://tecdat.cn/?p=20335在本文中，我们将介绍三种提高循环神经网络性能和泛化能力的高级技术。我们演示有关温度预测问题的三个概念，我们使用建筑物屋顶上的传感器的时间数据序列。概述在本文中，我们将介绍三种提高循环神经网络性能和泛化能力的高级技术。在最后，您将了解有关将循环网络与Keras一起使用的大部分知识。您可以访问来自建筑物屋顶上的传感器的时间数据序列，例如温度，气压和湿度，这些数据点可用于预测最后一个数据点之后24小时的温度。这是一个相当具有挑战...

原文链接：http://tecdat.cn/?p=19980具有单个隐藏层和滞后输入的前馈神经网络，可以用于预测单变量时间序列。将神经网络模型拟合到以时间序列的滞后值作为输入的时间序列。因此它是一个非线性的模型，不可能得出预测区间。因此我们使用仿真。读取数据进行可视化：## # A tibble: 6 x 2## Date Actual## <dttm> <dbl>## 1 2016-01-11 26## 2 20.

本文将说明单变量和多变量金融时间序列的不同模型，尤其是条件均值和条件协方差矩阵、波动率的模型。

具有单个隐藏层和滞后输入的前馈神经网络，可以用于预测单变量时间序列。将神经网络模型拟合到以时间序列的滞后值作为输入的时间序列。因此它是一个非线性的模型，不可能得出预测区间。...

本文估计实际GDP增长率的两状态Markov区制转换动态回归模型 。

时间序列预测问题是预测建模问题中的一种困难类型。与回归预测建模不同，时间序列还增加了输入变量之间序列依赖的复杂性。

原文链接:http://tecdat.cn/?p=5919在本文中，我将介绍ARMA，ARIMA（Box-Jenkins），SARIMA和ARIMAX模型如何用于预测给定的时间序列数据。使用后移运算符计算滞后差分我们可以使用backshift运算符来执行计算。例如，后轴运算符可用于计算的时间序列值的滞后差异ÿy经由yi−Bk(yi),∀i∈k+1,…,tyi−Bk(yi)......

根据我们对温度的预测，我们可以预测电力消耗。绘制电力消耗序列图：