大数据部落

原文链接：http://tecdat.cn/?p=24103原文出处：拓端数据部落公众号此示例说明如何使用逻辑回归模型进行贝叶斯推断。统计推断通常基于最大似然估计 (MLE)。MLE 选择能够使数据似然最大化的参数，是一种较为自然的方法。在 MLE 中，假定参数是未知但固定的数值，并在一定的置信度下进行计算。在贝叶斯统计中，使用概率来量化未知参数的不确定性，因而未知参数被视为随机变量。贝叶斯推断贝叶斯推断是结合有关模型或模型参数的先验知识来分析统计模型的过程。这种推断的根基是贝叶..

原文链接：http://tecdat.cn/?p=24211原文出处：拓端数据部落公众号描述使用garch指定一个单变量GARCH（广义自回归条件异方差）模型。garch模型的关键参数包括： GARCH 多项式，由滞后条件方差组成。阶数用P表示。 ARCH多项式，由滞后平方组成。阶数用Q表示。 P和Q分别是 GARCH 和 ARCH 多项式中的最大非零滞后。其他模型参数包括平均模型偏移、条件方差模型常数和分布。所有系数都是未知（NaN值）和可估.........

原文链接：http://tecdat.cn/?p=24365原文出处：拓端数据部落公众号描述var对象指定了p阶平稳的多变量向量自回归模型（VAR(p)）模型的函数形式并存储了参数值。varm对象的关键组成部分包括时间序列的数量和多元自回归多项式 ( p )的阶数，因为它们完全指定了模型结构。其他模型组件包括将相同的外生预测变量与每个序列相关联的回归成分，以及常数和时间趋势项。例子创建和修改默认模型创建一个由一个序列组成的零阶 VAR 模型。M....

原文链接：http://tecdat.cn/?p=24480原文出处：拓端数据部落公众号此示例说明如何使用三种方法估计风险价值 (VaR) 并执行 VaR 回测分析。这三种方法是： 正态分布 历史模拟 指数加权移动平均线 (EWMA) 风险价值是一种量化与投资组合相关的风险水平的统计方法。VaR 衡量指定时间范围内和给定置信水平的最大损失量。回测衡量 VaR 计算的准确性。使用 VaR 方法，计算损失预测，然后与第二天结束时的实际损失进行比较。预测损失和实际损.

原文链接：http://tecdat.cn/?p=24498原文出处：拓端数据部落公众号在这个例子中，我们考虑马尔可夫转换随机波动率模型。统计模型让是因变量和未观察到的对数波动率. 随机波动率模型定义如下区制变量遵循具有转移概率的二态马尔可夫过程表示均值的正态分布和方差.BUGS语言统计模型文件“ssv.bug”的内容：file = 'ssv.bug'; % BUGS模型文件名model{ x[1] ~ dnor..............

原文链接：http://tecdat.cn/?p=24777原文出处：拓端数据部落公众号使用冗余预测变量构建数据集并使用lasso和 glm识别这些预测变量。使用lasso正则化去除冗余预测变量创建一个X包含 100 个观测值和 10 个预测变量的随机矩阵。y仅使用四个预测变量和少量噪声创建正态分布因变量。默认值randn ;X*权重 + randn*0.1; % 小的附加噪音执行lasso正则化。lasso求第 75 个Lambda.......

原文链接：http://tecdat.cn/?p=25741原文出处：拓端数据部落公众号此示例显示如何lasso识别和舍弃不必要的预测变量。使用各种方法从指数分布生成 200 个五维数据 X 样本。rng(3,'twister') % 实现可重复性for i = 1:5 X(:,i) = exprndend生成因变量数据Y= X* r+ eps，其中r只有两个非零分量，噪声eps正态分布，标准差为 0.1。用 拟合交叉验证......

原文链接：http://tecdat.cn/?p=26624原文出处：拓端数据部落公众号matlab软件在拟合数据时使用最小二乘法。拟合需要一个参数模型，该模型将因变量数据与具有一个或多个系数的预测数据相关联。拟合过程的结果是模型系数的估计。为了获得系数估计，最小二乘法最小化残差的平方和。第i个数据点ri的残差定义为观测因变量值yi与拟合因变量值ŷi之间的差值，并标识为与数据相关的误差。残差的平方和由下式给出其中n是拟合中包含的数据点的数量， S是误差估.......

此示例说明如何从 VEC( q ) 模型生成 Monte Carlo 预测。该示例将生成的预测与最小均方误差 (MMSE) 预测和来自VEC( q ) 模型的 VAR( q +1) 模型的预测进行比较。假设具有 H1 Johansen 形式的 VEC(2) 模型恰当地描述了由 1954 年至 1994 年的年度短期、中期和长期债券利率组成的 3D 多元时间序列的动态。加载 数据集。 在同一图中绘制序列。创建协整等级为 2 的 3D VEC(2) 模型。默认情况下， 应用 H

此示例说明如何使用长短期记忆 (LSTM) 网络预测时间序列数据。LSTM 网络是一种循环神经网络 (RNN)，它通过循环时间步长和更新网络状态来处理输入数据。网络状态包含在所有先前时间步长中记住的信息。您可以使用 LSTM 网络使用先前的时间步长作为输入来预测时间序列或序列的后续值。要训​​练 LSTM 网络进行时间序列预测，请训练具有序列输出的回归 LSTM 网络，其中响应（目标）是训练序列，其值偏移了一个时间步长。换句话说，在输入序列的每个时间步，LSTM 网络学习预测下一个时间步的值。有两种预测方法

波动率是一个重要的概念，在金融和交易中有许多应用。它是期权定价的基础。波动率还可以让您确定资产配置并计算投资组合的风险价值 (VaR)。甚至波动率本身也是一种金融工具，例如 CBOE 的 VIX 波动率指数。然而，与证券价格或利率不同，波动性无法直接观察到。相反，它通常被衡量为证券或市场指数的收益率历史的统计波动。这种类型的度量称为已实现波动率或历史波动率。衡量波动性的另一种方法是通过期权市场，其中期权价格可用于通过某些期权定价模型得出标的证券的波动性。Black-Scholes 模型是最受欢迎的模型。这种

随着机器人技术的快速发展，室内轮式机器人逐渐成为了相关研究人员的重点关注对象，应用场景主要是家庭等室内环境，轮式机器人完成复杂任务的基石是完善的路径规划技术，对该技术的深入研究，能够提高机器人的智能化水平，促进该学科的快速发展。虽然目前全球范围都在对机器人路径的优化问题进行研究并取得了一些成绩，但是室内小范围区域路径规划的研究还是一个难点，还有很多问题有待解决，比如说，室内区域相对狭小，周围的环境变化频繁会对机器人路径规划的结果产生较大影响；........................

原文链接：http://tecdat.cn/?p=22467本文展示了如何使用扩展卡尔曼滤波器进行故障检测。本文使用扩展的卡尔曼滤波器对一个简单的直流电机的摩擦力进行在线估计。估计的摩擦力的重大变化被检测出来，并表明存在故障。电机模型电机被模拟成具有阻尼系数c，转动惯量J，由一个扭矩u驱动。电机的角速度w和加速度˙w是测量输出。为了使用扩展卡尔曼滤波器估计阻尼系数c，为阻尼系数引入一个辅助状态，并将其导数设为零。因此，模型状态，x = [w;c]，和测量，y，方程式...

原文链接：http://tecdat.cn/?p=22160这个例子展示了如何使用分位数随机林来检测异常值。分位数随机林可以检测到与给定X的Y的条件分布有关的异常值。离群值是一些观测值，它的位置离数据集中的大多数其他观测值足够远，可以认为是异常的。离群观测的原因包括固有的变异性或测量误差。异常值显著影响估计和推断，因此检测它们决定是删除还是稳健分析非常重要。为了演示异常值检测，此示例：从具有异方差性的非线性模型生成数据，并模拟一些异常值。生长回归树的分位数随机森林。估计预测变量范围..

本文估计实际GDP增长率的两状态Markov区制转换动态回归模型 。

本示例说明如何使用长短期记忆（LSTM）网络对序列数据进行分类。要训​​练深度神经网络对序列数据进行分类，可以使用LSTM网络。LSTM网络使您可以将序列数据输入网络，并根据序列数据的各个时间步进行预测。本示例使用[1]和[2]中所述的日语元音数据集。此示例训练LSTM网络以识别给定时间序列数据的说话者，该时间序列数据表示连续讲话的两个日语元音。训练数据包含九位发言人的时间序列数据。每个序列具有12个特征，并且长度不同。数据集包含270个训练观察和370个测试观察。加载顺序数据加载日语元音训

利率衍生证券的定价依赖于描述基本过程的模型。这些利率模型取决于您必须通过将模型预测与市场上可用的现有数据进行匹配来确定的一个或多个参数。在Hull-White模型中，有两个与短期利率过程相关的参数：均值回归和波动率。...

本示例说明如何创建并可视化Markov链模型的结构和演化。考虑从随机转移矩阵中创建马尔可夫链的四状态马尔可夫链，该模型模拟了国内生产总值（GDP）的动态。

原文链接：http://tecdat.cn/?p=7181此示例显示了Hampel用于检测和删除异常值的过程的 实现。产生一个包含24个样本的随机信号x。 重置随机数生成器以获得可重复的结果。rng defaultlx = 24;x = randn(1,lx);围绕x的每个元素生成观察窗口。 在样本的任一边取k = 2个邻居。 产生的移动窗口的长度为2×2 +......

原文链接：http://tecdat.cn/?p=7019易患血液凝固的人用华法林治疗，血液稀释剂。国际标准化比率（INR）衡量药物的效果。较大剂量会增加INR，较小剂量会降低INR。患者由护士定期监测，当他们的INR超出目标范围时，他们的剂量和测试频率会发生变化。该文件INR.mat包含在五年内对患者进行的INR测量。该文件包括一个datetime数组，其中包含每次测量的日期......

绘制ROC曲线以通过Logistic回归进行分类加载样本数据。

随着多媒体技术的不断发展，数码相机，高清拍照手机等多媒体设备己经在人们的生活中占据了越来越重要的地位。通过采用图像处理技术，可以将数码设备采 集到的文字、图片等信息转化成其他信息形势输出，例如转化成音频输出己解决视 障患者的视力需求。但是，由于输入设备或某些其他因素不可避免地使得采集到的 文本图像或多或少会出现某种程度的倾斜。因此，倾斜图像校正是当前文本图像研 宄领域中十分重要的课题，尤其在数字化、自动化领域。比如，提高OCR(Optical Character Recognition)识别率从而提高文档自

当我阅读Matthew O'Jackson在2010年描述其在经济学中的应用的论文时，我首先对网络产生了兴趣。在2014年的埃博拉疫情爆发期间，人们对该疾病蔓延至美国的情况非常关注。当时我忙于上班/上课，但决定使用航空公司的航班数据至少探讨这个问题。数据的来源可以在以前关于空间数据可视化的文章中找到。我以为该疾病起源于利比里亚，因此想探讨该疾病如何通过航空网络传播到美国的问题。.........

概要方剂药效与剂量的关系中药不传之秘在于剂量中药配伍规律。拓端数据使用数据挖掘技术对海量的在线医院药物复方历史数据进行智能分析，并从中找出药物配伍的规律。业务挑战中医传承过程中，关于生理、病因病机以及疾病的表现和发展规律，都容易记载在书上，也容易理解和传承。然而随着医药科技的不断进步,新特药品的的种类的不断出现,给药物配伍又一次新挑战。同时，为了探索昂贵中药材是否有其他廉价替代品的............

拨号音信号的变模分解创建一个以4 kHz采样的信号，类似于拨打数字电话的所有键。将信号另存为MATLAB®时间数据。fs = 4e3;t = 0:1/fs:0.5-1/fs;ver = [697 770 852 941];hor = [1209 1336 1477];tones = [];for k = 1:length(ver) for l = 1:length......

分析师通常关心检测市场何时“发生变化”：几个月或几年内市场的典型行为可以立即转变为非常不同的行为。投资者希望及时发现这些变化，以便可以相应地调整其策略，但是这样做可能很困难。.........

原文链接：http://tecdat.cn/?p=8321租赁市场正在发生变化。随着越来越多的行业巨头涌入，金融的、互联网的、房地产的，租赁地产成为炙手可热的风口。▼近期我们进行了关于重庆租房市场的研究。我们分析了来自106家参与研究的房产交易平台的数据和见解，请参阅下面的图表了解主要发现。1房源优势......

原文链接：http://tecdat.cn/?p=8287介绍缺失值被认为是预测建模的首要障碍。因此，掌握克服这些问题的方法很重要。估算缺失值的方法的选择在很大程度上影响了模型的预测能力。在大多数统计分析方法中，按列表删除是用于估算缺失值的默认方法。但是，它不那么好，因为它会导致信息丢失。在本文中，我列出了5个R语言方法。链式方程进行的多元插补通过链......

原文链接：http://tecdat.cn/?p=8214M / M / 1系统该系统的基本参数::使用M / M / 1系统进行仿真非常简单 。 lambda <- 2mu <- 4rho <- lambda/mu # = 2/4.. 例如， 可以快速可视化随时间变化的资源使用情况。在下面，我们可以看到仿真如何收敛到系统中理论上的平......

原文链接：http://tecdat.cn/?p=8199本文中我在R中构造一个简单的M / M / 1队列的离散事件模拟 。模拟变量像往常一样，我们从模拟及其检测所需的变量 开始。 t.end <- 10^5 # duration of simt.clock <- 0 # sim timeTa <- 1.3333 # interarri......

原文链接：http://tecdat.cn/?p=8159M / M / c / k系统用肯德尔的表示法，M / M / c / k系统具有指数到达（M/ M / c / k），cC具有指数服务时间（M /M/ c / k）和k−c的服务器（M / M /c/ k）ķ-C队列中的位置（M / M / c /k）。这是M / M / 2/3系统 的模拟。......

原文链接：http://tecdat.cn/?p=8145顾名思义，时间序列数据是一种随时间变化的数据类型。例如，24小时内的温度，一个月内各种产品的价格，一年中特定公司的股票价格。诸如长期短期记忆网络（LSTM）之类的高级深度学习模型能够捕获时间序列数据中的模式，因此可用于对数据的未来趋势进行预测。在本文中，您将看到如何使用LSTM算法使用时间序列数据进行将来的预测。数据集......

原文链接：http://tecdat.cn/?p=8114选择Worksheet>New Worksheet从顶部的菜单，并双击Country。Tableau识别国家和州/省的名称 。其默认的地图绘制 是在每个区域的地理中心或质心处放置一个圆圈，可以对其进行缩放和着色以反映数据值：但是，我们需要每个国家/地区按区域填充颜色。使用Show Me，切换到该filled ......

原文链接：http://tecdat.cn/?p=8093介绍Tableau Public今天，我们将与Tableau Public合作，使用该工具， 可以创建各种交互式图表，地图和表格，并将它们组织成仪表板和故事，然后可以将其保存到云中并嵌入到Web中。我们今天将使用的数据nations.csv来自世界银行指标门户的数据。包含以下字段： iso2ciso3c由国际标......

原文链接：http://tecdat.cn/?p=8076获取，清理和格式化数据在本文中，我们将介绍一些技巧和窍门，这些技巧和窍门用于在线查找所需数据，将其存储到计算机上以及如何识别和清除“脏”数据。我们还将回顾一些常见的数据格式，以及如何从一种转换为另一种。我们今天将使用的数据gdp_percap.csv世界银行关于1990年至2016年国家和国家集团人均国内生产......

原文链接：http://tecdat.cn/?p=8057QGIS简介GQIS是领先的免费开放源地理信息系统（GIS）应用程序。它能够进行复杂的地理数据处理和分析，还可以用于设计发布质量的数据驱动地图。启动QGIS， 应该看到类似以下的屏幕：如果您的屏幕看起来与众不同，请View>Panels从顶部菜单中选择并检查选项，如下所示：然后选择Vi......

原文链接：http://tecdat.cn/?p=8003演示数据集library(gapminder)head(gapminder)## # A tibble: 6 x 6## country continent year lifeExp pop gdpPercap## <fct> <fct> ...

原文链接：http://tecdat.cn/?p=7994使用的数据nations.csv 来自世界银行指标的数据。warming.csv 有关1880年至2017年全球年平均温度 。yearvalue 全球平均温度，与1900-2000年的平均温度相比。

原文链接：http://tecdat.cn/?p=7973贝叶斯隐马尔可夫模型是一种用于分割连续多变量数据的概率模型。该模型将数据解释为一系列隐藏状态生成。每个状态都是重尾分布的有限混合，具有特定于状态的混合比例和共享的位置/分散参数。该模型中的所有参数都配备有共轭先验分布，并通过变化的贝叶斯（vB）推理算法学习，其本质上与期望最大化相似。该算法对异常值具有鲁棒性，并且可以接受缺失值............

原文链接：http://tecdat.cn/?p=7960隐马尔可夫模型（HMM）简介隐马尔可夫模型（HMM）是一个在你观察到的输出顺序，但不知道状态序列模型产生输出的过程。隐马尔可夫模型的分析试图从观察到的数据中恢复状态序列。例如，考虑具有两个状态和六个可能输出的马尔可夫模型。该模型使用： 红色骰子，有六个面，标记为1到6。 一个绿色骰子，具有十二个侧面，其中五............