大数据基础与应用课程作业一：数据预处理

最新推荐文章于 2023-10-28 19:00:00 发布
最新推荐文章于 2023-10-28 19:00:00 发布
阅读量1.9k 收藏 10
点赞数 2
分类专栏： R语言数据分析 文章标签： r语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44180506/article/details/120583108
版权

目录

数据预处理作业题目

在这里插入图片描述作业用到的数据集：
链接: churn数据集
提取码：6666
这个数据集应该是记录用户特征与是否流失的数据集，今天使用churn数据集对数据进行预处理。

一、总览

数据库中包含的大部分原始数据都是未经预处理、不完整且存在大量噪声的。
存在过时、冗余的字段
存在缺失值
存在异常值
数据格式不适合进行数据挖掘
数据不符合政策或者常识
因此，在进行数据挖掘之前需要进行数据清洗。
实际上，在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间

二、R和Rstudio一些操作

1.R注释

R只支持单行注释，注释符号为 #

2.工作路径的设置

要打开数据集文件，可以使用绝对路径，但用过python编辑器，如pycharm或jupyter notebook就会明白，可以使用相对路径，但是使用相对路径就需要对当前工作路径搞清楚。
在Rstudio中，修改工作路径的文章already exists，please refer to the link:
Rstudio中修改工作路径的三种方法
下面展示my operation:

getwd() # output:"C:/Users/Jiacheng/Documents"

我在D盘下新建了一个文件夹用于存放数据集和代码，因此选择的是第二种global options设置

3.清除历史记录、变量等

参阅：RStudio 清除历史记录，变量，窗口
abstract:
清空控制台:

Ctrl+L

清除变量历史记录

rm(list = ls())

三、预处理工作

1.查看数据是否具有缺失值

(1)实验代码

churn=read.csv("datasets/churn.txt",stringsAsFactors=TRUE)
any(is.na(churn))

(2)原理介绍

read.csv(“datasets/churn.txt”,stringsAsFactors=TRUE)
   以CSV格式读取数据集文件，stringsAsFactors参数表示将字符串转化为factor,参见解释
is.na(churn)
   返回和churn维度相同的dataframe，里面的值为布尔值，标志churn对应位置是否是空值
any(x)
   判断表达式是否至少有一个为TRUE

(3)实验结果

在这里插入图片描述

(4)结果解释

出现了这个结果，说明churn里面每一个element都不是空值

2.检查state和Area.code字段的异常


美国各州的行政区简称参阅：百度百科
美国各州的地区码对应关系参阅：美国各州区号查询
美国各州与其地区码是一对多的关系，一个州可以有多个地区码，而一个地区码只能对应一个州。
参阅链接2，可知地区码415是加利福尼亚州的一个区号，而在数据中415却对应了堪萨斯州、俄亥俄州等，这里是明显的abnormal.

3.可视化检查CustServ.Calls的离群点

(1)实验代码

hist(churn$CustServ.Calls,xlim = c(0,10))

(2)原理介绍

hist(churn$CustServ.Calls)
   churn$CustServ.Calls表示将churn中的CustServ.Calls字段取出
   hist函数用于绘制直方图，其中可以设置绘制范围、直方图cell的大小等

(3)实验结果

在这里插入图片描述

(4)结果解释

根据直方图可以看出，the number of calls to customer service在5、6、7、8、9次时，是离群点

4.使用z-score、IQR方法判断CustServ.Calls离群点

(1)实验代码

churn$z_custcall=(churn$CustServ.Calls-mean(churn$CustServ.Calls))/sd(churn$CustServ.Calls)
list = which(churn$z_custcall>3 | churn$z_custcall< -3)
unique(churn[list,]$CustServ.Calls)

boxplot(churn$CustServ.Calls)    #  绘制箱线图

(2)原理介绍

boxplot()函数用于绘制箱线图
which()函数返回满足条件表达式的行的行号
unique()函数返回切片后取CustServ.Calls列中不重复出现的特征值

z-score的公式如下图：
在这里插入图片描述
在z-score标准化后，可以假定数据服从标准正态分布，根据3-σ准则，可以认为大于3或者小于-3的值是离群点。
箱线图的原理是数据的四分位数，如下图所示：
在这里插入图片描述在使用箱线图对离群点进行检测时，计算四分位数：Q1,Q2,Q3 分别是25%，50%，75%分位数，IQR=Q3-Q1，小于Q1的1.5* IQR或者大于Q3的1.5* IQR ，判断为离群点。

(3)实验结果

(a)z-score结果

在这里插入图片描述

(b)箱线图结果

在这里插入图片描述

(4)结果解释

z-score返回结果说明the number of calls to customer service在6、7、8、9次时是离群点。
由箱线图可知，the number of calls to customer service 在4、5、6、7、8、9次时是离群点。
根据两次结果和上一个题作比较，在上一题中得到的离群值5、6、7、8、9，其实是比较保守的主观估计，因为这里面没有引入定量的指标，完全依靠观测者的主观感受。在本题中z-score得到的离群点明显要少于上一题和箱线图的结果，这是因为离群点本身就会影响z-score中的均值的标准差，因此离群点的大小和数量是会对结果造成较大影响的。
因此，IQR方法判断离群点更加robust。

5.对day minutes属性进行z-score标准化

(1)实验代码

churn$z_daymins=(churn$Day.Mins-mean(churn$Day.Mins))/sd(churn$Day.Mins)

(2)原理介绍

z-score原理在上面介绍过，不再赘述。

(3)实验结果

在这里插入图片描述

(4)结果解释

无

6.计算倾斜度

(a)计算day minutes的倾斜度
(b)计算day minutes进行z-score后的倾斜度，与上一个计算作比较
(c)根据之前计算的倾斜度，是否能认定day minute这个属性是倾斜的或者是近乎完美对称的。

(1)实验代码

3*(mean(churn$Day.Mins)-median(churn$Day.Mins))/sd(churn$Day.Mins)
3*(mean(churn$z_daymins)-median(churn$z_daymins))/sd(churn$z_daymins)

(2)原理介绍

倾斜度的的定义为：
在这里插入图片描述
倾斜度大于0和小于0的两种情况如下图所示：
在这里插入图片描述

(3)实验结果

在这里插入图片描述

(4)结果解释

由结果可知在经过z-score前后，倾斜度的计算结果不变。由于倾斜度很小，仅为0.02左右，是可以认为它是完美对称的。

7.对day minutes属性构建正态概率图

(1)实验代码

qqnorm(churn$z_daymins,
       datax = TRUE,
       col = "red",
       #ylim = c(0.6931, 4.7875),
       #main = "对数变换后的dist的Q-Q图"
) #画QQ图
qqline(churn$z_daymins,
       col = "blue",
       datax = TRUE)#画对比直线

(2)原理介绍

QQ图是一种常见的用于衡量两个分布的相似性的方法，原理如下：
在这里插入图片描述

首先画出两个分布的CDF图，
如红色虚线所示，对于一个概率，得到这两个分布的分位数x0和y0，然后以(x0,y0)为坐标在QQ图中画一个点。
变化不同的概率，重复上述步骤，就可以得到不同的点，把这些点连接起来就是QQ图。
如果两个数据集的分布一致，画出的线是一条直线。

(3)实验结果

在这里插入图片描述

(4)结果解释

由上图可以看出，z-score后的day minutes的概率分布与标准正态分布的QQ图与一条直线很相像，故可以认为具有正态性。

8.对international minutes属性分析

(a)构建正态概率图
(b)是什么导致这个属性不服从正态分布的
(c)构建一个标志变量能够指示(b)中出现的这种情况
(d)对于非负的international minutes进行绘制正态概率图，判断其正态性

(1)实验代码

churn$z_IntlMins=(churn$Intl.Mins-mean(churn$Intl.Mins))/sd(churn$Intl.Mins)
# 进行z-score标准化
qqnorm(churn$z_daymins,
       datax = TRUE,
       col = "red",
       #ylim = c(0.6931, 4.7875),
       #main = "对数变换后的dist的Q-Q图"
) #画QQ图
qqline(churn$z_daymins,
       col = "blue",
       datax = TRUE)#画对比直线
# 以上是绘制全部的qq图
qqnorm(churn$z_daymins,
       datax = TRUE,
       col = "red",
       ylim = c(0, 3),
       #main = "对数变换后的dist的Q-Q图"
) #画QQ图
qqline(churn$z_daymins,
       col = "blue",
       datax = TRUE)#画对比直线
# 以上只对y>0的地方进行绘制

(2)原理介绍

无

(3)实验结果

对Intl.Minsz-score标准化后，绘制的QQ图如下图所示：
在这里插入图片描述

只对非负部分进行绘制：
在这里插入图片描述

(4)结果解释

(b)可以从第一张图看出，在真实数据中有太多的离群点，造成这样的原因是有相当一部分人几乎不打国际电话。但是这种看似是“离群点”，其实它却对数据后面的部分符合正态分布做出了不小的贡献。
©可以用离群点占总点数的比例来看，根据比例来对离群点的严重情况进行处理。如可以利用3-σ准则，如果离群点的数量超过了3-σ准则所规定的，那么就要进行进一步的处理了。
(d)仅显示非负部分的QQ图可以看到数据与正态分布拟合得很好。

9.对night minutes进行z-score并用图describe标准化后得取值范围

(1)实验代码

churn$z_netmins=(churn$Night.Mins-mean(churn$Night.Mins))/sd(churn$Night.Mins)
boxplot(churn$z_netmins)

(2)原理介绍

无

(3)实验结果

在这里插入图片描述

(4)结果解释

使用箱线图对标准化的值进行范围显示，按照箱线图的理论，在最上下两根线之间范围内的值为正常值，之外的都是离群值。

不想生产学术垃圾
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
实验三：数据预处理1
slxns的博客
11-22 870
学习并了解数据预处理的步骤。
数据预处理（分享一波考试大题和填空题）
qq_56437391的博客
03-12 5641
数据预处理 1.什么是数据预处理：从初始数据到得出分析或挖掘结果的整个过程中对数据经过的一系列操作称为数据预处理。 2.常见的数据问题：数据缺失，数据重复，数据异常，数据冗余，数据值冲突，数据噪声 3.数据预处理的流程：初始数据获取，数据清理，数据集成，数据变换，数据规约 4.大数据项目开发流程：数据采集，数据预处理，数据存储，数据分析挖掘，数据可视化 5.数据质量问题：准确性，相关性，完整性，时效性，一致性，可信性可解释性 6.数据是正确的，造成不准确的原因：数据收集设备故障、数据输入错误、数据传输过程出
数据导入与预处理-jupyter练习题一numpy
04-05
numpy的相关代码，包含数组。科学计算库里面有很多，大家可以多练一练，都是一些优质资源。希望大家多多珍惜，运用这个文档，提高大家对数据的处理能力 以后我也会多多更新相关的内容 感谢大家的支持 谢谢 有什么疑问可以留言或者私信
数据预处理课后习题
热门推荐
angula
03-18 1万+
3.3 在习题2.2中，属性age包括如下值（以递增序）：13，15，16，16，19，20，20，21，22，22，25，25，25，25，30，33，33，35，35，35，35，36，40，45，46，52，70。 （a）使用深度为3的箱，用箱均值光滑以上数据。说明你的步骤，讨论这种技术对给定数据的效果 （b）如何确定该数据中的离群点？ （c）还有什么其他方法来光滑数据？ a）步骤： 步骤1...
R_churn数据集分析
m0_55862255的博客
09-08 1459
churn <- read.csv(file = "../churn.txt",stringsAsFactors=TRUE) churn[1:10,] sum.churn <- summary(churn$Churn) prop.churn <- 483/(2850+483) counts <- table(churn$Churn,churn$Int.l.Plan,dnn=c("Churn","International Plan")) counts barplot(counts,.
大数据采集技术与预处理学习一：大数据概念、数据预处理、网络数据采集
weixin_60530224的博客
10-28 2426
手工检测数据集中的属性错误要花费大量的时间和精力，而且容易出错，所以需要使用高效的方法自动检测数据集中的属性错误，主要检测方法有基于统计的方法、聚类方法和关联规则方法等。特别是高度敏感的账户类主体数据，往往会贯穿主体的所有关系和行为信息，因此需要特别注意保证所有相关主体数据的关联性。含义：不符合关系型数据库或其他数据表的形式关联起来的数据模型结构，但包含相关标记，用来分隔语义元素以及对记录和字段进行分层，数据的结构和内容混在一起，没有明显的区分，因此，它也被称为自描述的结构。④多次脱敏的数据一致性。
大数据技术与应用——实验报告汇总.zip
06-14
实验一(Hadoop分布式环境搭建) 实验二(shell指令和JavaAPI的HDFS操作) 实验三(shell指令操作HBase) 实验四(JavaApi操作HBase)
完整版 重庆大学 商务智能课程 BI教程 大数据与数据挖掘教程 第5章 数据预处理技术（共114页）.ppt
01-16
完整版 重庆大学 商务智能课程 BI教程 大数据与数据挖掘教程 第5章 数据预处理技术（共114页）.ppt 完整版 重庆大学 商务智能课程 BI教程 大数据与数据挖掘教程 第5章 数据预处理技术案例（共18页）.ppt 完整版 重庆...
Python大数据之Spark编程基础与提升视频课程课件PPT模板.pptx
06-12
04/ 第4章spark机器学习之核心应用 03/ 第3章spark机器学习之特征提取 02/ 第2章spark数据预处理与分析 01/ 第1章spark入门 06/ 第6章附：使用spark完成hadoop作业 05/ 第5章企业项目实战：使用spark机器学习库构建...
商务智能课程 BI教程 大数据与数据挖掘教程 全套PPT课件 共11个章节 含实验报告 考试题及答案.rar
11-11
商务智能课程作业 BI作业 数据分析 基于决策树算法下的学生录取率数据分析 共13页.ppt 第1章 商务智能绪论（共81页）.ppt 第2章 商务智能基础理论（共64页）.ppt 第3章 数据仓库的概念与结构（共52页）.ppt 第3章 ...
数据处理面试题
07-18
教你如何迅速秒杀掉： 99%的海量数据处理面试题, 十道海量数据处理面试题与十个方法大总结的一般抽象性总结。
十道海量数据处理试题与十大方法总结
08-26
十道海量数据处理试题与十大方法总结
完整版 重庆大学 商务智能课程 BI教程 大数据与数据挖掘教程 数据库基础知识补充 数据库系统实例分析（共43页）.ppt
01-16
完整版 重庆大学 商务智能课程 BI教程 大数据与数据挖掘教程 第5章 数据预处理技术（共114页）.ppt 完整版 重庆大学 商务智能课程 BI教程 大数据与数据挖掘教程 第5章 数据预处理技术案例（共18页）.ppt 完整版 重庆...
福建师范大学精品大数据导论课程系列 (9.2.1)--8.2.1 《推荐系统-2》PPT.pdf
09-25
【福建师范大学精品大数据导论课程列表】 福建师范大学精品大数据导论课程系列 (1.1.1)--大数据导论课程简介》PPT.pdf ...福建师范大学精品大数据导论课程系列 (8.7.1)--7.3.2 《Excel数据可视化方法与应用》.pdf
深度学习基于AVEC2014数据集和Resnet网络实现的抑郁症诊断系统python源码+运行说明+数据集.zip
最新发布
01-16
2.主要针对各个计算机相关专业，包括计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师或企业员工使用。 3.项目具有丰富的拓展空间，不仅可作为入门进阶，也可直接作为毕设...
数据分享|R语言决策树和随机森林分类电信公司用户流失churn数据和参数调优、ROC曲线可视化...
拓端研究室TRL
07-14 206
原文链接：http://tecdat.cn/?p=26868在本教程中，我们将学习覆盖决策树和随机森林。这些是可用于分类或回归的监督学习算法（点击文末“阅读原文”获取完整代码数据）。相关视频下面的代码将加载本教程所需的包和数据集。library(tidyverse) #电信客户流失率数据 churn<-read_rds(chuata.rds))数据花点时间探索下面的这个数据集（查看文...
送书 |​ Python3智能数据分析，超实用的数据预处理方法你必须知道
Python大本营的博客
10-01 624
（▲由Python大本营付费下载自视觉中国）作者 | 李明江/张良均/周东平/张尚佳来源 | 《Python3智能数据分析快速入门》福利：关注Python大本营微信公众号...
数字图像处理（入门篇）八 图像数据预处理之直方图
静谧、淡雅
12-09 729
数字图像处理（入门篇）八 图像数据预处理之直方图
回溯法 批处理作业调度_数据调度平台系统二大种类及其实现方法与流程
weixin_33974017的博客
01-09 192
什么是调度系统调度系统，更确切地说，作业调度系统（Job Scheduler）或者说工作流调度系统（workflow Scheduler）是任何一个稍微有点规模，不是简单玩玩的大数据开发平台都必不可少的重要组成部分。除了Crontab，Quartz这类偏单机的定时调度程序／库。开源的分布式作业调度系统也有很多，比较知名的比如：oozie，azkaban，chronos，zeus等等，此外，还有包括...
weka数据期末大作业
06-15
Weka数据期末大作业是针对机器学习等相关领域的学生所设计的。通过该作业，学生可深入掌握Weka这一强大的数据挖掘工具，学习和掌握数据预处理、特征选择、分类器训练和模型评价等重要步骤，进一步掌握机器学习的理论和应用技能。 在完成Weka数据期末大作业的过程中，学生首先需要了解Weka的基本操作和主要功能，掌握如何导入数据、预处理数据、特征选择、分类器训练以及模型评价等工作流程。其次，学生还需要根据具体的数据集确定适合的预处理和特征选择方法，如缺失值处理、标准化、归一化、降维、特征排除等。 接着，学生需要选择适合的分类器进行训练和优化，如决策树、朴素贝叶斯、支持向量机等，针对不同算法选择不同的参数和优化方法。然后，进行模型评价和性能分析，如准确率、精确率、召回率、F1值等指标，评价模型的鲁棒性和泛化能力。最后，根据评价结果对模型进行进一步优化。 总之，Weka数据期末大作业是对学生应用机器学习知识和工具的综合考核，不仅需要掌握Weka的基本操作和主要功能，还要具备数据处理、特征选择、分类器训练和模型评价等关键技能。通过该作业的完成，学生能够深入理解机器学习的理论和应用，在实际数据分析和挖掘过程中更具有实践能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值