1.什么是箱形图？
箱形图，也叫盒须图，盒式图，boxplot。箱图的发明者John Tukey。Tukey先生1915年出生于美国麻省的新贝德福德。他22岁的时候在布朗大学获得了硕士学位，之后又在普林斯顿大学拿到了化学博士。有趣的是，他并没有直接开始让他青史留名的统计学工作，而是在二战期间进入了火控研究室，在那里，大量武器相关的研究最终都转而需要先解决统计学问题。从此，Tukey改变了自己的人生方向，一代统计学大师即将出现。
箱形图最大的优点就是不受异常值的影响（异常值也称为离群值），可以以一种相对稳定的方式描述数据的离散分布情况。
为了更形象的说明，我们先画个图，看图说话。使用工具RStudio，假设有数据集合num = c(1,6,2,7,4,2,3,3,8,25,30)，直接通过boxplot(num)画图，如下： 
2.箱形图五要素
将数据切割分离 (实际上就是将数据分为4大份)
（1）中位数
中位数，即二分之一分位数。所以计算的方法就是将一组数据（此处中位数，特别指是从大到小排列的有序序列）按从小到大的顺序，取中间这个数。
如果原始序列长度n是奇数，那么中位数所在位置是(n+1)/2；
如果原始序列长度n是偶数，那么中位数所在位置是n/2，n/2+1，中位数的值等于这两个位置的数的算数平均数。
（2）上四分位数Q1
确定四分位数的位置。Qi所在位置=i（n+1）/4，其中i=1，2，3。n表示序列中包含的项数。
强调一下，四分位数的求法，是将序列平均分成四份。具体的计算目前有(n+1)/4与(n-1)/4两种，一般使用(n+1)/4。
举个例子，有有序序列一个test = c(1,2,3,4,5,6,7,8)，通过summary(test)来获取test这个序列的中位数，上四分位数，下四分位数以及算数平均值。
这个Q1=2.75是怎么计算出来的呢？首先序列长度n=8，(1+n)/4=2.25，这是什么意思呢？说明上四分位数在第2.25个位置数，实际上这个数是不存在的，但我们知道这个位置是在第2个数与第3个数之间的。
只能假想从第2个数到第3个数之间是均匀分布的。那么第2.25个数就是第二个数*0.25+第三个数*0.75，即2*0.25+3*0.75=0.5+2.25=2.75。 
（3）下四分位数Q3
这个下四分位数所在位置计算方法同上，只不过是(1+n)/4*3=6.75，这个是个介于第六个位置与第七个位置之间的地方。对应的具体的值是0.75*6+0.25*7=6.25。
4、上限
上限是非异常范围内的最大值。
首先要知道什么是四分位距如何计算的？
四分位距IQR=Q3-Q1，那么上限=Q3+1.5IQR
5、下限
下限是非异常范围内的最小值。
下限=Q1-1.5IQR
（4）内限
目前我们文章中看到的这两个T形的盒须就是内限。上面的T形线段所延伸到的极远处，是Q3+1.5IQR(其中，IQR=Q3-Q1)与剔除异常值后的极大值两者取最小，下面的T形线段所延伸到的极远处，是Q1-1.5IQR与剔除异常值后的极小值两者取最大。
还是以开篇使用的栗子，来说明。
IQR=Q3-Q1=7.5-2.5=5
上内限=Q3+1.5*IQR=7.5+1.5*5=15，与剔除两个异常址30，25后的极大值8，两者取最小值，所以上内限就是8
下内限=Q1-1.5*IQR=2.5-1.5*5=-5，与剔除两个异常址30，25后的极小值1，两者取最大值，所以下内限就是1
（5）外限
外限与内限的计算方法相同，唯一的区别就在与：上面的T形线段所延伸到的极远处，是Q3+3IQR(其中，IQR=Q3-Q1)与剔除异常值后的极大值两者取最小，下面的T形线段所延伸到的极远处，是Q1-3IQR与剔除异常值后的极小值两者取最大。
【例】[2]12位商学院毕业生月起薪的样本在这里按升序重复如下。
2710 2755 2850 | 2880 2880 2890 | 2920 2940 2950 | 3050 3130 3325
Q1 = 2865 Q2 = 2905(中位数) Q3 = 3000
中位数是2 905，第一个四分位数Q1 = 2865（大于样本中25%的数），第三个四分位数Q3 = 3000。检查这些数据，最小值为2710，最大值为3325。因此，薪水数据的五数概括数据为2710、2865、2905、3000、3325。大约1／4或25％的观察值在五数概括的相邻两个数字之间。
箱线图是在五数概括的基础上对数据进行描述的图形方法。绘制箱线图的关键是计算中位数、四分位数Q1和Q3。也可以使用四分位数全距IQR = Q3 − Q1。图1是月起薪数据的箱线图。
此处的例子的上下四分位数据有误：
data2 = [2710, 2755, 2850, 2880, 2880, 2890, 2920, 2940, 2950, 3050, 3130, 3325]
da2 = pd.DataFrame(data2)
print(da2.describe())
# count 12.000000
# mean 2940.000000
# std 165.652978
# min 2710.000000
# 25% 2872.500000
# 50% 2905.000000
# 75% 2975.000000
# max 3325.000000
绘制箱线图的步骤如下：
1．画一只箱子，箱子两端分别位于第一个和第三个四分位数上。对于薪水数据来说,Q1 = 2865以及Q3 = 3000。这个箱子包括中间50％的数据。
2．在箱子中位数(薪水数据是2905)的位置画一条垂直线。
3．用四分位数全距IQR = Q3 − Q1，确定限制线的位置。箱线图的上、下限制线分别在比Q1低1.5(IQR)和比Q3高1.5(IQR)的位置上。对于薪水数据来说，IQR = Q3− Q1 = 3000 − 2865 = 135。因此，限制线的位置在2865 − 1.5(135) = 2662.5和3000 + 1.5(135) = 3202.5处。两条限制线以外的数据可以认为是异常值。
4．图1中的虚线称为触须线。触须线从箱子两端开始绘制，直至第3步中计算的限制线内的最小值和最大值。因此，薪水数据的触须线分别在2 710和3 130处结束。
5．最后，每个异常值的位置都用星号“*”表示出来。在图1中，我们可以看到一个异常值，即3325。
在图1中，我们画出了表示上下界限位置的直线。画这些线是为了说明如何计算薪水数据的限制线并标出其位置。虽然限制线通常要计算出来，但是在箱线图中一般并不标示出来。图2显示了薪水数据的常见箱线图的形状。
箱线图作为描述统计的工具之一，其功能有独特之处，主要有以下几点：
1.直观明了地识别数据批中的异常值
一批数据中的异常值值得关注，忽视异常值的存在是十分危险的，不加剔除地把异常值包括进数据的计算分析过程中，对结果会带来不良影响；重视异常值的出现，分析其产生的原因，常常成为发现问题进而改进决策的契机。箱线图为我们提供了识别异常值的一个标准：异常值被定义为小于Q1－1.5IQR或大于Q3＋1.5IQR的值。虽然这种标准有点任意性，但它来源于经验判断，经验表明它在处理需要特别注意的数据方面表现不错。这与识别异常值的经典方法有些不同。众所周知，基于正态分布的3σ法则或z分数方法是以假定数据服从正态分布为前提的，但实际数据往往并不严格服从正态分布。它们判断异常值的标准是以计算数据批的均值和标准差为基础的，而均值和标准差的耐抗性极小，异常值本身会对它们产生较大影响，这样产生的异常值个数不会多于总数0.7%。显然，应用这种方法于非正态分布数据中判断异常值，其有效性是有限的。箱线图的绘制依靠实际数据，不需要事先假定数据服从特定的分布形式，没有对数据作任何限制性要求，它只是真实直观地表现数据形状的本来面貌；另一方面，箱线图判断异常值的标准以四分位数和四分位距为基础，四分位数具有一定的耐抗性，多达25%的数据可以变得任意远而不会很大地扰动四分位数，所以异常值不能对这个标准施加影响，箱线图识别异常值的结果比较客观。由此可见，箱线图在识别异常值方面有一定的优越性。
2.利用箱线图判断数据批的偏态和尾重
比较标准正态分布、不同自由度的t分布和非对称分布数据的箱线图的特征，可以发现：对于标准正态分布的大样本，只有 0.7%的值是异常值,中位数位于上下四分位数的中央,箱线图的方盒关于中位线对称。选取不同自由度的t分布的大样本，代表对称重尾分布，当t分布的自由度越小，尾部越重，就有越大的概率观察到异常值。以卡方分布作为非对称分布的例子进行分析，发现当卡方分布的自由度越小，异常值出现于一侧的概率越大，中位数也越偏离上下四分位数的中心位置，分布偏态性越强。异常值集中在较小值一侧，则分布呈现左偏态；；异常值集中在较大值一侧，则分布呈现右偏态。下表列出了几种分布的样本数据箱线图的特征（样本数据由SAS的随机数生成函数自动生成），验证了上述规律。这个规律揭示了数据批分布偏态和尾重的部分信息，尽管它们不能给出偏态和尾重程度的精确度量，但可作为我们粗略估计的依据。
3.利用箱线图比较几批数据的形状
同一数轴上，几批数据的箱线图并行排列，几批数据的中位数、尾长、异常值、分布区间等形状信息便昭然若揭。在一批数据中，哪几个数据点出类拔萃，哪些数据点表现不及一般，这些数据点放在同类其它群体中处于什么位置，可以通过比较各箱线图的异常值看出。各批数据的四分位距大小，正常值的分布是集中还是分散，观察各方盒和线段的长短便可明了。每批数据分布的偏态如何，分析中位线和异常值的位置也可估计出来。还有一些箱线图的变种，使数据批间的比较更加直观明白。例如有一种可变宽度的箱线图，使箱的宽度正比于批量的平方根，从而使批量大的数据批有面积大的箱，面积大的箱有适当的视觉效果。如果对同类群体的几批数据的箱线图进行比较，分析评价，便是常模参照解释方法的可视图示；如果把受测者数据批的箱线图与外在效标数据批的箱线图比较分析，便是效标参照解释的可视图示。箱线图结合这些分析方法用于质量管理、人事测评、探索性数据分析等统计分析活动中去，有助于分析过程的简便快捷，其作用显而易见。
参考：MBA智库百科--箱线图
项目推荐：
Java微服务实战296集大型视频-谷粒商城【附代码和课件】
Java开发微服务畅购商城实战【全357集大项目】-附代码和课件
---------------------------- end ---------------------------------
3020
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
