大数据部落

原文链接：http://tecdat.cn/?p=8522数据简介客户流失是一个金融术语，指的是客户或客户的流失，即客户不再与公司或企业互动。同样，流失率是客户或客户在特定时间段内离开公司的比率。高于某个阈值的流失率会对公司的业务成功产生有形和无形的影响。理想情况下，公司希望尽可能多地留住客户。随着先进数据科学和机器学习技术的出现，公司现在可以识别可能在不久的将来停止与他们开展业务的潜在客户。在数据中，您将了解银行不同的客户属性（如年龄、性别、地理位置等）和客户流失。（查看文末了解数据获

原文链接：http://tecdat.cn/?p=22422数据简介该数据集滤泡细胞淋巴瘤数据。该数据集由541名疾病早期的滤泡细胞淋巴瘤（I或II）患者组成，并接受单纯放疗（化疗=0）或放疗和化疗的联合治疗（化疗=1）。疾病复发或无反应和缓解期死亡是两个竞争风险。患者的年龄（年龄：平均=57，sd=14）和血红蛋白水平（hgb：平均=138，sd=15）也被记录。随访时间的中位数是5.5年。（查看文末了解数据获取方式)数据详情数据格式txt字段年龄血红.

原文链接：http://tecdat.cn/?p=10809数据简介受欢迎程度（简称：流行度）数据集由来自不同班级的学生组成，并且由于每个学生都属于一个唯一的班级，因此它是一个嵌套设计。因变量是“流行度”，它是一个学生自评的受欢迎程度，范围为0-10。预测指标包括学生级别的性别（二分变量）和Extrav（连续的自我评价的外向得分），以及班级的Texp（年份为单位的老师经验， 是连续的）。数据详情数据格式sav字段学生id班级id外向程度学生性别教师

你知道“巨型猪饲料”“单身狗粮”是什么吗？这不是给动物吃的，也许你或多或少听说过，这些在网上引起巨大反响的零食，完全激起了大家的购买欲望。要点提示与传统食品相比，这种购物模式不需要消费者亲自到商店或市场去挑选商品，而是可以直接通过网络媒体完成，具有品种丰富、跨区域、价格优惠等优点。大数据"对于今天来说可能已经不再是一个新词，但数据如何在营销中发挥更深远的作用，一直是很多营销人思考的问题。真正在营销中玩转数据的新方式，应该是能够触及营销的核心问题--如何从数据中找到深...

原文链接：http://tecdat.cn/?p=26988原文出处：拓端数据部落公众号豆瓣已经成为国内影迷和影评人的聚集地。 豆瓣评分已经成为评价中国电影的重要指标。 豆瓣积累了大量的电影数据，为电影行业分析提供了重要资源。 豆瓣电影被用来衡量国内外电影的发展。中国与其他国家对比汇总年电影总产量。 一直在快速推进的电影产业在2017年出现转折，电影产量开始下滑。 与现在相比，相差1500部左右。 这种趋势一直持续。中国大陆的评分低于整体评分，然后我们选择电影数.

本文数据采集于豆瓣读书网站，分析内容将基于豆瓣读书的图书评分和评论信息。 主题将紧紧围绕以下几点：有哪些书籍值得推荐？一般书籍的价格是多少？一本书的评分和评论数量之间是否存在某种关系？关联规则模型、Apriori算法及R语言挖掘杂货店交易数据与交互可视化，时长07:03截至爬取之日，热门书评数量实时增长，分别是：①：评分>=8.0且评论超过10w+的书籍； ②：只有评论超过10w+的书； ③：按书评数量排名TOP8；经过对比，我发现一些值得一读再读的名著总是在列表中，而且列表中的大部分书籍都是开卷即有益的好

原文链接：http://tecdat.cn/?p=22898原文出处：拓端数据部落公众号随着社会经济的发展，饮食生活已经逐渐融入了我们的日常生活世界，每天都不可避免地在 "吃 "的问题上有更多的考虑，吃好、吃多已经不再是我们的烦恼。要点提示外卖的盛行已经成为各地的普遍现象，越来越多的大学生喜欢呆在宿舍里，用电脑来解决一天的生活问题，外卖成了很多大学生的饮食选择。本文通过问卷调查，分析了大学生对外卖的看法。主题一外卖每餐花费调查对象以本科生为主，占6

原文链接：http://tecdat.cn/?p=22886这篇文章假定你已经知道如何用igraph库建立一个基本的网络图。基本上，igraph允许将几种类型的输入转化为一个图形对象，可以使用plot()函数绘制，如下所示。# 创建数据network <- graph(data , mode='undirected')# 默认网络plot(network)自定义节点功能节点可以修改几个参数，这些参数都以顶点开始。顶点是igraph语言中的一个节点。主

原文链接：http://tecdat.cn/?p=22838问题：使用R中的鸢尾花数据集(a)部分：k-means聚类使用k-means聚类法将数据集聚成2组。画一个图来显示聚类的情况使用k-means聚类法将数据集聚成3组。画一个图来显示聚类的情况(b)部分：层次聚类使用全连接法对观察值进行聚类。使用平均和单连接对观测值进行聚类。绘制上述聚类方法的树状图。问题01：使用R中建立的鸢尾花数据集。(a)：k-means聚类讨论和/或考虑对数据进行标准化。....

原文链接：http://tecdat.cn/?p=22772我们经常使用的一个关系性指标是相关性。通过可以利用数据框架和绘图来帮助探索相关关系。本文先创建了相关关系的关系数据框，然后绘制了关系结构。库我们将使用以下库。library(tidyverse)library(igraph)基本方法给定一个由数字变量组成的数据框d，我们想在网络中绘制其相关性，这里有一个基本方法。# 创建相关数据框d %>% correlate() %>% #...

原文链接：http://tecdat.cn/?p=22762主成分分析法是数据挖掘中常用的一种降维算法,是Pearson在1901年提出的,再后来由hotelling在1933年加以发展提出的一种多变量的统计方法，其最主要的用途在于“降维”，通过析取主成分显出的最大的个别差异,也可以用来削减回归分析和聚类分析中变量的数目，与因子分析类似。所谓降维，就是把具有相关性的变量数目减少，用较少的变量来取代原先变量。如果原始变量互相正交，即没有相关性，则主成分分析没有效果。对应分析（CA）是适用于..

原文链接：http://tecdat.cn/?p=22732原文出处：拓端数据部落公众号关联规则挖掘是一种无监督的学习方法，从交易数据中挖掘规则。它有助于找出数据集中的关系和一起出现的项目。在这篇文章中，我将解释如何在R中提取关联规则。关联规则模型适用于交易数据。交易数据的一个例子可以是客户的购物历史。数据分析的第一件事是了解目标数据结构和内容。出于学习的目的，我认为使用一个简单的数据集更好。一旦我们知道了这个模型，就可以很容易地把它应用于更复杂的数据集。在这里，我们使用杂货店的交易..

原文链接：http://tecdat.cn/?p=22596研究大纲介绍数据集和研究的目标 探索数据集 可视化 使用Chi-Square独立检验、Cramer's V检验和GoodmanKruskal tau值对数据集进行探索 预测模型，Logisitic回归和RandomForest 两个逻辑回归的实例 使用5折交叉验证对模型实例进行评估 变量选择改进 step() bestglm() 随机森林模型 用RandomForest和Logisit..

原文链接：http://tecdat.cn/?p=22557新零售,顾名思义,就是与传统零售完全不同的,一种新的零售模式。要点提示其价值在于最大程度提升全社会流通零售业的运转效率。建立一个以消费者体验为中心的数据驱动的零售形态。现在新零售已经渗透到我们生活到方方面面，如无人便利店、无人售卖机、小米之家、永辉生活、便利蜂、盒马鲜生、星巴克、新零售智慧门店等。主题一不同年龄消费者对新零售商品和服务渠道的信赖程度不同年龄的消费者对......

原文链接：http://tecdat.cn/?p=22537我们在ggplot2中制作的饼实际上是一个条形图转换为极坐标。如果我们想制作一个像上面截图那样的地图，这就很困难了。但在地图上绘制饼图时，它也有自己的缺点。首先，当我们绘制大量的饼图时，它以光栅图像的形式渲染，使得它的渲染速度很慢。本文创建了一个封装函数，使其更容易绘制一组饼图。例如，假设我们有以下数据。set.seed(123)long <- rnorm(50, sd=100)lat <- rnorm(.

原文链接：http://tecdat.cn/?p=22492我们将使用葡萄酒数据集进行主成分分析。数据数据包含177个样本和13个变量的数据框；vintages包含类标签。这些数据是对生长在意大利同一地区但来自三个不同栽培品种的葡萄酒进行化学分析的结果：内比奥罗、巴贝拉和格里格诺葡萄。来自内比奥罗葡萄的葡萄酒被称为巴罗洛。这些数据包含在三种类型的葡萄酒中各自发现的几种成分的数量。# 看一下数据head(no)输出转换和标准化数据对数转换和标准化，将所有变...

原文链接：http://tecdat.cn/?p=22350在心理学研究中，个人主体的模型正变得越来越流行。原因之一是很难从人之间的数据推断出个人过程。另一个原因是，由于移动设备无处不在，从个人获得的时间序列变得越来越多。所谓的个人模型建模的主要目标是挖掘潜在的内部心理现象变化。考虑到这一目标，许多研究人员已经着手分析个人时间序列中的多变量依赖关系。对于这种依赖关系，最简单和最流行的模型是一阶向量自回归（VAR）模型，其中当前时间点的每个变量都是由前一个时间点的所有变量（包括其本身）预测的（线性..

原文链接：http://tecdat.cn/?p=22336Boosting算法是一种把若干个分类器整合为一个分类器的方法，也就是一种集成分类方法（Ensemble Method）。计量经济学的视角可以从计量经济学的角度理解提升方法（Boosting）的内容。这里的目标是要解决：损失函数ℓ，以及预测器集合M。这是一个优化问题。这里的优化是在函数空间中进行的，是一个简单的优化问题。从数值的角度来看，优化是用梯度下降来解决的（这就是为什么这种技术也被称为梯度提升）。同样，最佳值..

原文链接：http://tecdat.cn/?p=22262在讨论分类时，我们经常分析二维数据（一个自变量，一个因变量）。但在实际生活中，有更多的观察值，更多的解释变量。随着两个以上的解释变量，它开始变得更加复杂的可视化。数据我们使用心脏病数据，预测急诊病人的心肌梗死，包含变量：心脏指数 心搏量指数 舒张压 肺动脉压 心室压力 肺阻力 是否存活其中我们有急诊室的观察结果，对于心肌梗塞，我们想了解谁存活下来了，以得到一个预测模型。但是在运行一些分类器之前，我们先把我们..

布丰投针是几何概率领域中最古老的问题之一。它最早是在1777年提出的。它涉及将针头放到衬有衬纸的纸上，并确定针头越过页面上一行的可能性。引人注目的结果是概率与pi的值直接相关。R程序将根据上段所述的情况估算pi的值并使用gganimate进行动态可视化。...

原文链接：http://tecdat.cn/?p=21892多元统计分析 中，交互作用是指某因素作用随其他因素水平的不同而不同，两因素同时存在是的作用不等于两因素单独作用之和(相加交互作用)或之积(相乘交互作用)。通俗来讲就是，当两个或多个因素同时作用于一个结局时，就可能产生交互作用，又称为效应修饰作用(effect modification)。当两个因素同时存在时，所导致的效应(A)不等于它们单独效应相加(B+C)时，则称因素之间存在交互作用。当A=B+C时称不存在交互效应;当A>B+C..

原文链接：http://tecdat.cn/?p=20666 2019年,全球八个主要国家的18岁以上男女共诊断出72,164例急性髓细胞白血病(AML)。预计它将继续以2.51%的复合年增长率增长,到2029年达到90,264。

原文链接：http://tecdat.cn/?p=11583新冠肺炎的爆发让今年的春节与往常不同。与此同时，新闻记录下了这场疫情发展的时间轴。▼为此我们分析了疫情相关的新闻内容、发布时期以及发布内容的主题和情感倾向这些方面的数据，希望通过这些数据，能对这场疫情有更多的了解。新闻对疫情相关主题的情感倾向通过对疫情相关的新闻进行主题分析和情感分析，我们可以得到每个主题的关键词以及情感分布。图表1症状检测主题的新闻内容表达出最多积极情感，该话题下讨论的是医院中检测患者的症状，.

最新研究表明，中国有超过7亿人在观看在线视频内容。Bilibili，被称为哔哩哔哩或简称为B站，是中国大陆第二个弹幕视频网站，最大的年轻人潮流文化娱乐社区，截至2020年3月31日的第一季度它已经拥有超过1.7亿的月度用户,反映了许多人认为的该行业令人眼花缭乱的未来。热门话题和分区B站用户日渐成熟，二次元、和游戏成为主流分区；视频量排名前三的分别是生活类、游戏类。其中动画类的分区大多和鬼畜、动漫热门话题相关，这是B站的特色。图表1电子竞技和......

为了用R来处理网络数据，我们使用婚礼数据集。

在国内疫情稳定的新常态下，“双十一”点燃了消费者的购物热情，在购物热潮中，消费热点、消费者理念与行为将出现哪些变化？▼本文基于消费者调研的定量分析数据，与您共同探讨“双十一”，消费者的购物计划与活动偏好的最新变化趋势。双十一网购心理都在发生着变化从2009年第一次双十一购物节至今，十余年时间，在这一购物狂欢节中，“血拼”、“剁手”成为买家的关键词，网购工具、网购清单和网购心理都在发生着变化图表1调查数据显示，在双十一期间，消费者看到喜欢的商品买下来的可能性比平时...

在现实世界中，我们的生活受到大量网络的支配。网络流可以表示很多模型，比如管道中的石油、高压线中电流，或者计算机网络中的数据。网络流也可以解决很多问题，比如如何进行道路交通管控，以便有效地缓解早高峰的拥堵；在物流网运输中，在满足供需关系的同时，怎样使渠道成本最低；在轰炸机执行轰炸任务时，怎样才能给敌军补给线造成更严重的打击。这些问题都有现成的网络流算法，别再以为网络流仅仅是网络中的比特流。......

本示例说明如何创建并可视化Markov链模型的结构和演化。考虑从随机转移矩阵中创建马尔可夫链的四状态马尔可夫链，该模型模拟了国内生产总值（GDP）的动态。

数据准备# 选择感兴趣的列mydata % select(mpg, disp, hp, drat, wt, qsec)# 添加一些缺失值mydata$hp[3]

原文：http://tecdat.cn/?p=3928用Shiny生态快速搭建交互网页应用告别html,CSS,JS什么是Shiny？Shiny包可以快速搭建基于R的交互网页应用。对于web的交互，之前已经有一些相关的包，不过都需要开发者熟悉网页编程语言（html,CSS,JS）。Shiny包的特点在于不需要了解网页语言，用纯R来搭建。生成的网页应用是动态交互、...

大数据背景下各种数据相关的岗位变得炙手可热，长期处于供不应求的状态。近年来随着人工智能的发展，数据分析岗也越发火热。▼本文试图通过招聘数据了解数据分析岗位的最新招聘情况，包括行业需求、经验要求、薪资水平等， 进而分析出相关的薪资以及招聘要求。数据岗位需求在不同行业的差异在各个行业的数据职位名称中'数据分析师'最多， 其次是数据开发工程师、数据库工程师等。图表1从行业领域来看，计算机软件最多，其次是互联网/电子商务、金融/投资/证券和......

原文链接： http://tecdat.cn/?p=14200 之前我们在关于投资组合优化相关的内容中已经看到了Markowitz的理论，其中给出了预期收益和协方差矩阵

R语言提供了丰富的功能，可用于绘制R中的时间序列数据。

我们生活在互联网时代，越来越多的人选择在网上贷款消费 ，投资理财早已成为一门学问，一些有头脑的人通过小额的贷款让钱生钱也成为了一种可能，贷款消费的公司越来越多。▼房贷、车贷、企业贷、旅游贷、装修贷等各式各样的贷款出现在我们生活中，我们获取了贷款消费信息，试图分析影响消费贷款申请人数的因素。度量消费贷款的特征我们分析了不同城市的产品平均申请人数，可以看到，消费金融在上海、北京、深圳、杭州等城市等更加火爆，而在其他城市则相对冷清。图表1分析不同担保方式的产品平均申请人数，可以看...

大数据已经成为变革和创新的技术力量和思维方式，成为当前研究的热门领域。▼本文对相关主题下的知网期刊文章数据集进行分析，识别出期刊文章内容近年来变化的规律。期刊热门栏目近年来的变化经过几年的蓄势待发，13年伊始，“大数据”成为热门概念，人民日报将2013年称为“大数据元年”。我们将2013年作为时间点，对其前后7年的期刊热门栏目数目的变化进行比较。图表1可以发现与数据相关的信息技术、统计研究、计算机科学、软件开发等栏目数目在2013年以后出现增加（图1），这在一定程度上说明对于大数

原文链接：http://tecdat.cn/?p=6087根据生存曲线的估计，可以推断出相比组之间存活时间的差异，因此生存曲线非常有用，几乎可以在每个生存分析中看到。例在我们将对象放入ggsurvplot()函数之后，我们可以创建简单的生存曲线估计。让我们来看看患有卵巢癌（卵巢浆液性囊腺癌）和患有乳腺癌（乳腺浸润癌）的患者之间存活时间的差异 。survivalT...

这些天，我沉浸在我为精算科学进行数据科学培训的R项目中。因为我有很多有趣的事情，所以我告诉自己，我可以尝试在博客上的帖子中恢复（此外，它还允许我检查通过的代码是否有效）。为了开始系列投票（是的，还会有其他），弗拉维安·塞里（Flavien Thery）提出了英国脱欧投票的地图。第一步是恢复底图（我们将在此处使用第二个管理区域）library(sp)library(raster)down......

原文链接：http://tecdat.cn/?p=9227数据集：行为危险因素监视系统数据摘要：该数据集是来自全美约40万份与健康相关主题的问卷调查。BRFSS始于1980年代，并已通过问卷调查在美国用于监测普遍的疾病。该研究是追溯性的，而不是设计性的实验，因此尽管可以推断出相关性，但不能因果关系。数据集中的特征既是连续的又是分类的。目标：探索性别，体重和年龄之间的相关性第......

原文链接：http://tecdat.cn/?p=4557tableau作为一个拖拽式的可视化软件，可以轻松做出美观实用的数据图像。并且不需要进行复杂的编程操作，或者下载额外的软件包。另外对于地理数据来说，tableau有很好的支持。可以识别全国各地的省市区名称，并且根据经纬度在地图上展现出来，从而更好的体现数据的区域特征。本文搜集了全国最美的8条骑行路线数据，使用tableau...

这周，我在http://waitbutwhy.com/上发现了一张图片，它代表了几周内（所谓的）典型的人类生活，我觉得很有趣。但是第一个问题是，我不理解下面的限制：90年，不是平均寿命。那不是您出生时应该期望的生活。第二个问题是，当您查看图片时，它不能像看起来的那样静态。我的意思是，0岁时的预期寿命与30岁或50岁时的预期寿命不同。因此，我确实尝试使用预期寿命表制作动画图表。这......