大数据部落

由于某大学学生人数过多，助教不足，因此有必要对期中考试给每个学生的题目数量施加五道题的限制。所有必须使用的问题必须来自大约 400 个预先批准的问题的测试库。 50% 的问题可以在期中使用。这项数据驱动研究的目标是找到应该从考试生成算法中排除的问题，以提供班级中最有意义的学生排名。数据分析import numpy as npimport pandas as pdimport pystanimport scipy.statsimport scipy.specialimport matplo

原文链接：http://tecdat.cn/?p=23305原文出处：拓端数据部落公众号什么是支持向量机 (SVM)？我们将从简单的理解 SVM 开始。【视频】支持向量机SVM、支持向量回归SVR和R语言网格搜索超参数优化实例支持向量机SVM、支持向量回归SVR和R语言网格搜索超参数优化实例，时长07:24假设我们有两个标签类的图，如下图所示：你能决定分隔线是什么吗？你可能想出了这个：这条线将类完全分开。这就是 SVM 本质上所做的——简单的类分离。.

原文链接:http://tecdat.cn/?p=22862原文出处：拓端数据部落公众号什么是风险价值（VaR）？风险价值 (VaR) 是一种统计数据，用于量化公司、投资组合在特定时间范围内可能发生的财务损失程度。该指标最常被投资银行和商业银行用来确定其机构投资组合中潜在损失的程度和概率。视频：风险价值VaR原理与Python蒙特卡罗Monte Carlo模拟计算投资组合实例风险价值VaR原理与Python蒙特卡罗Monte Carlo模拟计算投资组合实例，时长10:.

介绍本文是在 R 中使用 Keras 的简单介绍。软件包library(tidyverse) #导入、清理、可视化 library(keras) # 用keras进行深度学习library(data.table) # 快速读取csv数据导入让我们看一下数据tst %>% head()初步查看让我们考虑几个 用户可能提出的“不真诚”问题的例子trn %>% filter(tart == 1) %>% sme_n(5)我可以

在本笔记本中，我们向读者介绍了基本的随机波动率模型，并通过连续顺序重要性重采样讨论了它们的估计。我们使用收益率数据集来讨论 CSIR 在随机波动率模型估计中的实现和性能。第一个随机波动率模型令 yt 为时间 t的股票收益，σt 为其标准差。考虑以下离散时间随机波动率模型：zt∼N(0,1) 和 ηt∼N(0,τ2) ，τ>0 和 |φ1|<1 以确保波动率遵循平稳过程。直观地说，波动过程被建模为一个潜在过程，其中 log(σ2t) 遵循 AR(1) 过程。在下一个块中，我..

原文链接：http://tecdat.cn/?p=23344原文出处：拓端数据部落公众号本文中我们介绍了决策树和随机森林的概念，并在R语言中用逻辑回归、回归决策树、随机森林进行信用卡违约数据分析（查看文末了解数据获取方式）。决策树是由节点和分支组成的简单树状结构。根据每个节点的任何输入特征拆分数据，生成两个或多个分支作为输出。这个迭代过程增加了生成的分支的数量并对原始数据进行了分区。这种情况一直持续到生成一个节点，其中所有或几乎所有数据都属于同一类，并且不再可能进一步拆分或分支。视.

在这个项目中，我讨论了如何使用主成分分析 (PCA) 进行简单的预测。出于说明目的，我们将对一个数据集进行分析，该数据集包含有关在 3 个不同价格组内进行的汽车购买信息以及影响其购买决定的一组特征。首先，我们将导入数据集并探索其结构。head(caref)众所周知，PCA 使用欧几里得距离来推导分量，因此输入变量需要是数字的。正如我们所看到的，除了“组”变量之外，所有数据都是数字格式，因此我们不必执行任何转换。为了查看数字变量在 3 个价格组中的表现，我分别为每个数字变

理解世界，我们可以从相关性的角度去描述，统计，机器学习，很多问题都是从相关的角度去描述的。我们去构建一个模型，不管是统计机器学习模型，还是深度学习模型，本质上是构建一个复杂映射。从特征到标签的一个映射，这个映射是有用的，但不完全有用。因果分析我们在这里用一个隐喻，下雨，来描述causal 和relevance。我们可以构建一个关于预测明天是否下雨的模型，从搜集到的大量特征，以及历史的下雨结果最为标签，构建模型。不管准确率多少，我们用这样一个模型能够预测明天是否能够下雨。但是，我们很多时候要的不仅

原文链接：http://tecdat.cn/?p=26624原文出处：拓端数据部落公众号matlab软件在拟合数据时使用最小二乘法。拟合需要一个参数模型，该模型将因变量数据与具有一个或多个系数的预测数据相关联。拟合过程的结果是模型系数的估计。为了获得系数估计，最小二乘法最小化残差的平方和。第i个数据点ri的残差定义为观测因变量值yi与拟合因变量值ŷi之间的差值，并标识为与数据相关的误差。残差的平方和由下式给出其中n是拟合中包含的数据点的数量， S是误差估...

原文链接：http://tecdat.cn/?p=26578原文出处：拓端数据部落公众号指数分布是泊松过程中事件之间时间的概率分布，因此它用于预测到下一个事件的等待时间，例如，您需要在公共汽车站等待的时间，直到下一班车到了。在本文中，我们将使用指数分布，假设它的参数 λ ，即事件之间的平均时间，在某个时间点 k 发生了变化，即：我们的主要目标是使用 Gibbs 采样器在给定来自该分布的 n 个观测样本的情况下估计参数 λ、α 和 k。吉布斯Gibbs 采样器Gib..

原文链接：http://tecdat.cn/?p=26562该项目包括：自 2000 年 1 月以来的股票价格数据。我们使用的是 Microsoft 股票。 将时间序列数据转换为分类问题。 使用 TensorFlow 的 LSTM 模型 由 MSE 衡量的预测准确性GPU 设置（如果可用）gpus = tf.config.experimental.li读取数据集有几种方法可以获取股市数据。以下数据集是使用 R BatchGetSymbols 生成的。..

一个简单的编码器-解码器LSTM神经网络应用于时间序列预测问题：预测天然气价格，预测范围为 10 天。“进入”时间步长也设置为 10 天。) 只需要 10 天来推断接下来的 10 天。可以使用 10 天的历史数据集以在线学习的方式重新训练网络。数据集是天然气价格，具有以下功能：日期（从 1997 年到 2020 年）- 为 每天数据 以元计的天然气价格读取数据并将日期作为索引处理# 固定日期时间并设置为索引dftet.index = pd.DatetimeIndex# ..

豆瓣读书是豆瓣网上的一个子栏目，是活跃的读书网站。本文数据是从豆瓣读书网站上爬取的，分析内容将根据豆瓣读书上的书本评分、评论信息。主题将紧紧围绕下面的几个点：有哪些书籍值得推荐？书籍的价格一般都是在什么范围？书籍的评分与评论数量之间存在某种关系吗？豆瓣读书是豆瓣网的一个子版块。 本文数据来源于豆瓣读书网站，分析内容将基于豆瓣读书的图书评分和评论信息。 主题将紧紧围绕以下几点：有哪些书籍值得推荐？一般书籍的价格是多少？一本书的评分和评论数量之间是否存在某种关系？热门书籍分布截至爬取之日，热门书

近似贝叶斯计算和类似技术基于随机模拟模型中的样本计算近似似然值，在过​​去几年中引起了很多关注，因为它们有望为任何随机过程提供通用统计技术。复杂性，没有由于维护“易处理”似然函数的问题而适用于“传统”统计模型的限制。如果您不确定这一切意味着什么，我向您推荐我们的最近对随机模拟模型的统计推断的评论，旨在对这个令人兴奋的话题进行教学介绍。一位同事现在向我询问我们在我们的文章中讨论过的近似贝叶斯计算 MCMC (ABC-MCMC) 算法的简单示例。审查. 如果你想了解更多关于这个算法的背景知识，请阅读优秀..

原文链接：http://tecdat.cn/?p=26324介绍Metropolis Hastings 算法是一种非常简单的算法，用于从难以采样的分布中生成样本。假设我们要从分布 π 中进行采样，我们将其称为“目标”分布。为简单起见，我们假设 π是实线上的一维分布，尽管它很容易扩展到一维以上（见下文）。MH 算法通过模拟马尔可夫链来工作，其平稳分布为 π。这意味着，从长远来看，来自马尔可夫链的样本看起来像来自 π的样本。正如我们将看到的，该算法非常简单和灵活。MH算法转移核要实.

此示例说明如何使用长短期记忆 (LSTM) 网络对序列数据的每个时间步长进行分类。要训​​练深度神经网络对序列数据的每个时间步进行分类，可以使用序列到序列 LSTM 网络。序列到序列 LSTM 网络使您能够对序列数据的每个单独时间步进行不同的预测。此示例使用从佩戴在身上的智能手机获取的传感器数据。该示例训练 LSTM 网络，以在给定时间序列数据的情况下识别佩戴者的活动，这些数据表示三个不同方向的加速度计读数。训练数据包含七个人的时间序列数据。每个序列具有三个特征并且长度不同。数据集包含六个训练观察.

原文链接：http://tecdat.cn/?p=24141原文出处：拓端数据部落公众号在这个视频中，我们转向简单线性回归中的贝叶斯推断。我们将使用一个参照先验分布，它提供了频率主义解决方案和贝叶斯答案之间的联系。然后在R语言中用贝叶斯线性回归、贝叶斯模型平均 (BMA)来预测工人工资数据（查看文末了解数据获取方式）。视频：线性回归中的贝叶斯推断与R语言预测工人工资数据案例贝叶斯推断线性回归与R语言预测工人工资数据，时长09:58为了说明这些想法，我们将使...

线性模型是统计学的基础，但它的意义远不止用尺子在几个点上画一条线。

原文链接：http://tecdat.cn/?p=26277原文出处：拓端数据部落公众号极值理论对样本尾部分布的极值指数的估计方法主要有两类：半参数方法和全 参数方法，前者主要是基于分布尾部的 Hill 估计量，后者则主要基于广义帕累托分布。尾部指数的希尔HILL统计量估计。更具体地说，我们看到如果， 和，然后希尔HILL估计为。 然后在某种意义上满足某种一致性,如果，即（在收敛速度的附加假设下，）。此外，在附加的技术条件下为了说明这一点，请考虑...

原文链接：http://tecdat.cn/?p=26271原文出处：拓端数据部落公众号介绍Box 等人的开创性工作(1994) 在自回归移动平均模型领域的相关工作为波动率建模领域的相关工作铺平了道路，分别由 Engle (1982) 和 Bollerslev (1986) 引入了 ARCH 和 GARCH 模型。这些模型的扩展包括更复杂的动力学，例如阈值模型来捕捉新闻影响的不对称性，以及除正态之外的分布来解释实践中观察到的偏度和过度峰度。在进一步的扩展中，本文旨在为单变量 GARC