![c9959e77a41fa6c8c9b7e52684710ad4.png](https://i-blog.csdnimg.cn/blog_migrate/f70da1d4a6dd5f12c10aab76d7f51e93.jpeg)
![65eb3d64b559b4f59909c374e4148066.png](https://i-blog.csdnimg.cn/blog_migrate/cb9619044831bf5b5ca5e12e047451bb.png)
PART1:描述统计内容总结与拓展
描述统计重点概念拓展:箱线图(分位数概念)、标准差和变异系数、标准分
1.箱线图
以前也有见过箱线图,但从来没看懂,甚至一眼看上去还以为是没上色的K线图,(后面会作比较),下面从定义,分位数概念,异常值识别,实际应用四个方面进行小结和拓展。
![039670056dbde0cc4039a34c59169fa5.png](https://i-blog.csdnimg.cn/blog_migrate/58e30f9f80c4df562d792920cce9d1a4.png)
1)定义:箱线图(Box plot)也称箱须图、箱线图、盒图,利用数据中的五个统计量:最小值、第一四分位数(Q1)、中位数(Q2)、第三四分位数(Q3)与最大值来描述数据的一种方法,可以用来反映数据分布的中心位置和散布范围。
2)分位数概念:一组数据按从小到大的顺序排列,位于25%,50%,75%位置的数为第一四分位数(Q1)、中位数(Q2)、第三四分位数(Q3),举例:
一组序列数为例:12,15,17,19,20,23,25,28,30,33,34,35,36,37
计算方法:有很多种计算四分位数的方法,这里采用算术平均(如果算出的位置不是整数,就用两数的平均值)
①计算四分位数的位置:Qi=
②计算四分位数:整数刚好,非整数取两端平均值
eg:计算第三四分位数Q3,位置在11.25处,即位于第11个和第12个数之间,Q3=(34+35)/2=34.5
3)箱线图的功能:异常值识别
做数据清洗的过程中,找出异常值并进行处理是必要环节,箱线图的显著功效就是查找异常值,找到之后通常有三种做法:
①被错误记录的数值,应该被纠正;
②被错误纳入的数值,应该被删除;
③记录正确,但数值背身异常,应保留;
那么如何利用箱线图识别异常值呢?这里用到一种检测方法叫Tukey‘s test
![bd41e06fc6d37d5ef463d37c5965f0a7.png](https://i-blog.csdnimg.cn/blog_migrate/5be209b63aa49a78977a58b38f8e43aa.png)
首先要知道一个概念,四分位距(interquartile range, IQR):第一四分位数和第三四分位数的差距,即:IQR=Q3-Q1。图中可以看出,箱体部分就是1个IQR,包含了50%的数据,箱子的长短反映了数据的波动程度或者集中程度。当存在极度异常值时,箱子会被压得很扁。
需要注意的是,最大值和最小值并不是上限和下限,上下限是最大最小观测值(也可以叫最大最小估计值),是计算出来的,就是用来识别超出界限之外的异常值,最大值和最小值可能在界限内,也可能在界限外,如是后者,则为异常值。
一般来说:
下限(最小观测值为min) = Q1 - K*IQR
上限(最大观测值为max) = Q3 +K*IQR
K=1.5(中度异常,绝大部分情况使用这个);K=3(重度异常)
![8363e04b82e89d5947444a8dc7362e01.png](https://i-blog.csdnimg.cn/blog_migrate/f477d9ba68a9c22b40d668adbf8a037d.png)
4)实际应用
箱线图最常见的是用于质量管理、人事测评、探索性数据分析等统计分析活动。
工资分布,运动员水平,学生成绩等大部分单维度的离散或连续量化数据,最有效的使用是画分组箱线图做对比。
与K线的对比辨析23333333:
![6d592f099d866a8c34d426c849b9e4df.png](https://i-blog.csdnimg.cn/blog_migrate/aa8970bc13a718222cf4af06d5b21d3f.png)
2.标准差和变异系数
平均数:虽然被广泛应用,但是对有异常值的情况下,会使结论失真严重。
标准差:衡量数据偏离平均值的波动情况,常用于对稳定性或风险的衡量。
变异系数:变异系数:标准差与平均数的比值,也称为标准差率,当要比较两组或多组数据离散程度大小(波动大小)时,如果之间的度量尺度相差太大,比较标准差就没有意义。
比如:一只兔子体重波动1kg和一头大象体重波动1kg,虽然都是1kg,但显然对于两个整体,这个波动的意义是不一样的
变异系数可以消除单位和(或)平均数不同对两个或多个资料变异程度比较的影响。
3.标准分:距离平均值有多少个标准差
![45d80d10c7e5648d5f128bb1c57c9ae5.png](https://i-blog.csdnimg.cn/blog_migrate/1fc0253f89743f308d8df138f70ec7bc.png)
PART2:业务问题
一、理解数据集