大数据部落

原文链接：http://tecdat.cn/?p=22805为什么需要虚拟变量？大多数数据都可以用数字来衡量，如身高和体重。然而，诸如性别、季节、地点等变量则不能用数字来衡量。相反，我们使用虚拟变量来衡量它们。例子：性别让我们假设x对y的影响在男性和女性中是不同的。对于男性y=10+5x+ey=10+5x+e对于女性y=5+x+ey=5+x+e。其中e是随机效应，平均值为零。因此，在y和x的真实关系中，性别既影响截距又影响斜率。首先，让我们生成我们需要的数据。...

原文链接：http://tecdat.cn/?p=22702摘要贝叶斯回归分位数在最近的文献中受到广泛关注，本文实现了贝叶斯系数估计和回归分位数（RQ）中的变量选择，带有lasso和自适应lasso惩罚的贝叶斯。还包括总结结果、绘制路径图、后验直方图、自相关图和绘制分位数图的进一步建模功能。简介回归分位数（RQ）由（Koenker和Gilbert，1978）提出，将感兴趣的结果的条件分位数作为预测因子的函数来建模。自引入以来，分位数回归一直是理论界非常关注的话题，也在许多研究领域得到了.

原文链接：http://tecdat.cn/?p=22531对于线性关系，我们可以进行简单的线性回归。对于其他关系，我们可以尝试拟合一条曲线。曲线拟合是构建一条曲线或数学函数的过程，它对一系列数据点具有最佳的拟合效果。使用示例数据集#我们将使Y成为因变量，X成为预测变量#因变量通常在Y轴上plot(x,y,pch=19)看起来我们可以拟合一条曲线。#拟合一次多项式方程。fit <- lm(y~x)#二次fit2 <- lm(....

原文链接：http://tecdat.cn/?p=22482引言本文是一个简短的教程，在R中拟合BRT（提升回归树）模型。我们的目标是使BRT（提升回归树）模型应用于生态学数据，并解释结果。本教程的目的是帮助你学习如何在R中开发一个BRT模型。示例数据有两套短鳍鳗的记录数据。一个用于模型训练（建立），一个用于模型测试（评估）。在下面的例子中，我们加载的是训练数据。存在（1）和不存在（0）被记录在第2列。环境变量在第3至14列。> head(train)拟合..

原文链接：http://tecdat.cn/?p=22438多项式回归是独立x变量和因果y变量之间的非线性关系。当我们分析有一些弯曲的波动数据时，拟合这种类型的回归是很关键的。在这篇文章中，我们将学习如何在R中拟合和绘制多项式回归数据。我们在这个回归模型中使用了lm()函数。虽然它是一个线性回归模型函数，但通过改变目标公式类型，lm()对多项式模型也适用。本教程包括准备数据 拟合模型 寻找最佳拟合 源代码准备数据我们首先要准备测试数据，如下所示。function(x...

原文链接：http://tecdat.cn/?p=22410本文的目的是完成一个逻辑回归分析。使你对分析步骤和思维过程有一个基本概念。library(tidyverse)library(broom)这些数据来自一项正在进行的对镇居民的心血管研究。其目的是预测一个病人是否有未来10年的冠心病风险。该数据集包括以下内容。男性：0=女性；1=男性 年龄。 教育。1 = 高中以下；2 = 高中；3 = 大学或职业学校；4 = 大学以上 当前是否吸烟。0=不吸烟；1=吸烟者 c..

原文链接：http://tecdat.cn/?p=22328目前，回归诊断不仅用于一般线性模型的诊断，还被逐步推广应用于广义线性模型领域（如用于logistic回归模型），但由于一般线性模型与广义线性模型在残差分布的假定等方面有所不同，所以推广和应用还存在许多问题。鉴于此，本文使用图表考察logistic模型的拟合优度。如何处理从逻辑回归中得到的残差图？ 为了更好地理解，让我们考虑以下数据集glm(Y~X1+X2,family=binomial)如果我们使用R的诊断图，第一个是残差..

原文链接：http://tecdat.cn/?p=22319本文建立偏最小二乘法（PLS）回归（PLSR）模型，以及预测性能评估。为了建立一个可靠的模型，我们还实现了一些常用的离群点检测和变量选择方法，可以去除潜在的离群点和只使用所选变量的子集来 "清洗"你的数据。步骤建立PLS回归模型 PLS的K-折交叉验证 PLS的蒙特卡洛交叉验证（MCCV）。 PLS的双重交叉验证(DCV) 使用蒙特卡洛抽样方法进行离群点检测 使用CARS方法进行变量选择。 使用移动窗口PLS（MW...

原文链接：http://tecdat.cn/?p=22251线性回归时若数据不服从正态分布，会给线性回归的最小二乘估计系数的结果带来误差，所以需要对数据进行结构化转换。在讨论回归模型中的变换时，我们通常会简单地使用Box-Cox变换，或局部回归和非参数估计。这里的要点是，在标准线性回归模型中，我们有但是有时候，线性关系是不合适的。一种想法可以是转换我们要建模的变量，然后考虑这就是我们通常使用Box-Cox变换进行的操作。另一个想法可以是转换解释变量，例如，我们有时会.

原文链接：http://tecdat.cn/?p=21978本文将介绍如何在R中用rstan和rjags做贝叶斯回归分析，R中有不少包可以用来做贝叶斯回归分析，比如最早的（同时也是参考文献和例子最多的）R2WinBUGS包。这个包会调用WinBUGS软件来拟合模型，后来的JAGS软件也使用与之类似的算法来做贝叶斯分析。然而JAGS的自由度更大，扩展性也更好。近来，STAN和它对应的R包rstan一起进入了人们的视线。STAN使用的算法与WinBUGS和JAGS不同，它改用了一种更强大的算法使它能..

原文链接：http://tecdat.cn/?p=21625我们知道参数的置信区间的计算，这些都服从一定的分布(t分布、正态分布），因此在标准误前乘以相应的t分值或Z分值。但如果我们找不到合适的分布时，就无法计算置信区间了吗？幸运的是，有一种方法几乎可以用于计算各种参数的置信区间，这就是Bootstrap 法。本文使用BOOTSTRAP来获得预测的置信区间。我们将在线性回归基础上讨论。> reg=lm(dist~speed,data=cars)> points(x,pr..

原文链接：http://tecdat.cn/?p=21602正则化(regularization)正则化路径是在正则化参数lambda的值网格上计算套索LASSO或弹性网路惩罚的正则化路径。该算法速度快，可以利用输入矩阵x中的稀疏性，拟合线性、logistic和多项式、poisson和Cox回归模型。可以通过拟合模型进行各种预测。它还可以拟合多元线性回归。”例子加载数据这里加载了一个高斯(连续Y)的例子。as_data_frame(y)## # A tibble: 1..

原文链接：http://tecdat.cn/?p=21557分段回归( piecewise regression )，顾名思义，回归式是“分段”拟合的。其灵活用于响应变量随自变量值的改变而存在多种响应状态的情况，二者间难以通过一种回归模型预测或解释时，不妨根据响应状态找到合适的断点位置，然后将自变量划分为有限的区间，并在不同区间内分别构建回归描述二者关系。 分段回归最简单最常见的类型就是分段线性回归( piecewise linear regression )，即各分段内的局部回归均为线性回归。..

原文链接：http://tecdat.cn/?p=21467目的房价有关的数据可能反映了中国近年来的变化：人们得到更多的资源（薪水），期望有更好的房子 人口众多 独生子女政策：如何影响家庭的几何结构？更多的卧室，更多的空间我核心的想法是预测房价。然而，我不打算使用任何arima模型；相反，我将使用数据的特性逐年拟合回归。结构如下：数据准备：将数值特征转换为分类；缺失值 EDA:对于数值特征和分类特征:平均价格与这些特征的表现 建模： 分割训练/测试给定年份的数据：例如..

原文链接：http://tecdat.cn/?p=21444逻辑logistic回归是研究中常用的方法,可以进行影响因素筛选、概率预测、分类等，例如医学研究中高通里测序技术得到的数据给高维变量选择问题带来挑战，惩罚logisitc回归可以对高维数据进行变量选择和系数估计，且其有效的算法保证了计算的可行性。方法本文介绍了常用的惩罚logistic算法如LASSO、岭回归。方法我们之前已经看到，用于估计参数模型参数的经典估计技术是使用最大似然法。更具体地说，这里的目标函数只关注拟合优度。但.