数据分析——“玻璃的类型”数据集

最新推荐文章于 2024-03-15 17:29:12 发布

J_Xiong0117

最新推荐文章于 2024-03-15 17:29:12 发布

阅读量1w

点赞数 5

分类专栏： python 数据分析

本文链接：https://blog.csdn.net/u013010473/article/details/106173499

版权

python 同时被 2 个专栏收录

104 篇文章 3 订阅

订阅专栏

数据分析

17 篇文章 1 订阅

订阅专栏

文章目录

0.数据集介绍

多类别分类问题与二元分类问题类似，不同之处在于它有多个离散的输出，而不是只有两个。回顾探测未爆炸的水雷的问题，它的输出只有两种可能性：声纳探测的物体是岩石或者水雷。而红酒口感评分问题根据其化学成分会产生几个可能的输出（其口感评分值是从 3 分到 8 分）。但是对于红酒口感评分问题，口感评分值存在有序的关系。打 5 分的红酒要好于打 3 分的，但是要劣于打 8 分的。对于多类别分类问题，输出结果是不存在这种有序关系的。该节所用数据集根据玻璃的化学成分来判断玻璃的类型，目标是确定玻璃的用途。玻璃的用途包括建筑房间用玻璃、车辆上的玻璃、玻璃容器等。确定玻璃的用途类型是为了鉴证。例如在一个车祸或犯罪现场，会有玻璃的碎片，确定这些玻璃碎片的用途、来源，有助于确定谁是过错方或者谁是罪犯。

1.玻璃数据集读取与分析

import pandas as pd
from pandas import DataFrame
from pylab import *
import matplotlib.pyplot as plot

target_url = ("https://archive.ics.uci.edu/ml/machine-learning-databases/glass/glass.data")

## 读取数据集
glass = pd.read_csv(target_url,header=None,prefix="V")
glass.columns = ['Id', 'RI', 'Na', 'Mg', 'Al', 'Si', 'K', 'Ca', 'Ba', 'Fe', 'Type']
print(glass.head())

## 数据集统计
summary = glass.describe()
print(summary)
ncol1 = len(glass.columns)

## 去掉Id列
glassNormalized = glass.iloc[:, 1:ncol1]
ncol2 = len(glassNormalized.columns)
summary2 = glassNormalized.describe()
print(summary2)

## 归一化
for i in range(ncol2):
    mean = summary2.iloc[1, i]
    sd = summary2.iloc[2, i]
    glassNormalized.iloc[:,i:(i + 1)] = (glassNormalized.iloc[:,i:(i + 1)] - mean) / sd
    
## 绘制箱线图
array = glassNormalized.values
boxplot(array)
plot.xlabel("Attribute Index")
plot.ylabel(("Quartile Ranges - Normalized "))
show()

   Id       RI     Na    Mg    Al     Si     K    Ca   Ba   Fe  Type
0   1  1.52101  13.64  4.49  1.10  71.78  0.06  8.75  0.0  0.0     1
1   2  1.51761  13.89  3.60  1.36  72.73  0.48  7.83  0.0  0.0     1
2   3  1.51618  13.53  3.55  1.54  72.99  0.39  7.78  0.0  0.0     1
3   4  1.51766  13.21  3.69  1.29  72.61  0.57  8.22  0.0  0.0     1
4   5  1.51742  13.27  3.62  1.24  73.08  0.55  8.07  0.0  0.0     1
               Id          RI          Na          Mg          Al          Si  \
count  214.000000  214.000000  214.000000  214.000000  214.000000  214.000000   
mean   107.500000    1.518365   13.407850    2.684533    1.444907   72.650935   
std     61.920648    0.003037    0.816604    1.442408    0.499270    0.774546   
min      1.000000    1.511150   10.730000    0.000000    0.290000   69.810000   
25%     54.250000    1.516523   12.907500    2.115000    1.190000   72.280000   
50%    107.500000    1.517680   13.300000    3.480000    1.360000   72.790000   
75%    160.750000    1.519157   13.825000    3.600000    1.630000   73.087500   
max    214.000000    1.533930   17.380000    4.490000    3.500000   75.410000   

                K          Ca          Ba          Fe        Type  
count  214.000000  214.000000  214.000000  214.000000  214.000000  
mean     0.497056    8.956963    0.175047    0.057009    2.780374  
std      0.652192    1.423153    0.497219    0.097439    2.103739  
min      0.000000    5.430000    0.000000    0.000000    1.000000  
25%      0.122500    8.240000    0.000000    0.000000    1.000000  
50%      0.555000    8.600000    0.000000    0.000000    2.000000  
75%      0.610000    9.172500    0.000000    0.100000    3.000000  
max      6.210000   16.190000    3.150000    0.510000    7.000000  
               RI          Na          Mg          Al          Si           K  \
count  214.000000  214.000000  214.000000  214.000000  214.000000  214.000000   
mean     1.518365   13.407850    2.684533    1.444907   72.650935    0.497056   
std      0.003037    0.816604    1.442408    0.499270    0.774546    0.652192   
min      1.511150   10.730000    0.000000    0.290000   69.810000    0.000000   
25%      1.516523   12.907500    2.115000    1.190000   72.280000    0.122500   
50%      1.517680   13.300000    3.480000    1.360000   72.790000    0.555000   
75%      1.519157   13.825000    3.600000    1.630000   73.087500    0.610000   
max      1.533930   17.380000    4.490000    3.500000   75.410000    6.210000   

               Ca          Ba          Fe        Type  
count  214.000000  214.000000  214.000000  214.000000  
mean     8.956963    0.175047    0.057009    2.780374  
std      1.423153    0.497219    0.097439    2.103739  
min      5.430000    0.000000    0.000000    1.000000  
25%      8.240000    0.000000    0.000000    1.000000  
50%      8.600000    0.000000    0.000000    2.000000  
75%      9.172500    0.000000    0.100000    3.000000  
max     16.190000    3.150000    0.510000    7.000000

在这里插入图片描述

玻璃数据的箱线图显示有相当数量的异常点，至少与前面的例子相比，异常点数量上是比较多的。玻璃数据集有几个因素可能会导致出现异常点。首先这是一个分类问题，在属性值和类别之间不需要存在任何连续性，也就是说不应期望在各种类别之间，属性值是相互接近的、近似的。另外一个玻璃数据比较独特的地方是它的数据是非平衡的。成员最多的类有76个样本，而成员最小的类只有9个样本。统计时，平均值可能是由成员最多的那个类的属性值决定，因此不能期望其他的类别也有相似的属性值。采取激进的方法来区分类别可能会达到较好的结果，但这也意味着预测模型需要跟踪不同类别之间复杂的边界。

2.变量关系可视化（平行坐标图）

import pandas as pd
from pandas import DataFrame
from pylab import *
import matplotlib.pyplot as plot

target_url = ("https://archive.ics.uci.edu/ml/machine-learning-databases/glass/glass.data")

## 读取数据集
glass = pd.read_csv(target_url,header=None,prefix="V")
glass.columns = ['Id', 'RI', 'Na', 'Mg', 'Al', 'Si', 'K', 'Ca', 'Ba', 'Fe', 'Type']

glassNormalized = glass
ncols = len(glassNormalized.columns)
nrows = len(glassNormalized.index)
summary = glassNormalized.describe()
nDataCol = ncols - 1

## 归一化
for i in range(ncols - 1):
    mean = summary.iloc[1, i]
    sd = summary.iloc[2, i]
    glassNormalized.iloc[:,i:(i + 1)] = (glassNormalized.iloc[:,i:(i + 1)] - mean) / sd


for i in range(nrows):
    #plot rows of data as if they were series data
    dataRow = glassNormalized.iloc[i,1:nDataCol]
    labelColor = glassNormalized.iloc[i,nDataCol]/7.0
    dataRow.plot(color=plot.cm.RdYlBu(labelColor), alpha=0.5)
    
plot.xlabel("Attribute Index")
plot.ylabel(("Attribute Values"))
plot.show()

在这里插入图片描述

平行坐标图可能对此数据集揭示的信息更多。上图为其平行坐标图，数据根据输出类别用不同的颜色标记（每种颜色代表一种类别，共有6种类别，6 种颜色），有些类别区分度很好。例如，深蓝色的线聚集度很好，在某些属性上与其他类别的区分度也很好。深蓝的线在某些属性上经常处于数据的边缘，也就是说，是这些属性上的异常点。浅蓝的线在某些属性上也与深蓝的线一样，处于边缘地带，但是数量上要比深蓝的少，而且两者都在边缘地带时的所属的属性也不尽相同。棕色的线聚集性也很好，但其取值基本上在中心附近。在多类别分类问题中，平行坐标图颜色的选择与回归问题中的方式类似，将目标类别（标签）除以其最大值，然后再基于此数值选择颜色。

3.属性对相关性可视化

import pandas as pd
from pandas import DataFrame
from pylab import *
import matplotlib.pyplot as plot

target_url = ("https://archive.ics.uci.edu/ml/machine-learning-databases/glass/glass.data")

## 读取数据集
glass = pd.read_csv(target_url,header=None,prefix="V")
glass.columns = ['Id', 'RI', 'Na', 'Mg', 'Al', 'Si', 'K', 'Ca', 'Ba', 'Fe', 'Type']

## 计算所有实值列（包括目标）的相关矩阵
corMat = DataFrame(glass.iloc[:,1:-1].corr())
print(corMat)

## 使用热图可视化相关矩阵
plot.pcolor(corMat)
plot.show()

          RI        Na        Mg        Al        Si         K        Ca  \
RI  1.000000 -0.191885 -0.122274 -0.407326 -0.542052 -0.289833  0.810403   
Na -0.191885  1.000000 -0.273732  0.156794 -0.069809 -0.266087 -0.275442   
Mg -0.122274 -0.273732  1.000000 -0.481799 -0.165927  0.005396 -0.443750   
Al -0.407326  0.156794 -0.481799  1.000000 -0.005524  0.325958 -0.259592   
Si -0.542052 -0.069809 -0.165927 -0.005524  1.000000 -0.193331 -0.208732   
K  -0.289833 -0.266087  0.005396  0.325958 -0.193331  1.000000 -0.317836   
Ca  0.810403 -0.275442 -0.443750 -0.259592 -0.208732 -0.317836  1.000000   
Ba -0.000386  0.326603 -0.492262  0.479404 -0.102151 -0.042618 -0.112841   
Fe  0.143010 -0.241346  0.083060 -0.074402 -0.094201 -0.007719  0.124968   

          Ba        Fe  
RI -0.000386  0.143010  
Na  0.326603 -0.241346  
Mg -0.492262  0.083060  
Al  0.479404 -0.074402  
Si -0.102151 -0.094201  
K  -0.042618 -0.007719  
Ca -0.112841  0.124968  
Ba  1.000000 -0.058692  
Fe -0.058692  1.000000

在这里插入图片描述

关联热图显示了属性之间绝大多数是弱相关的，说明属性之间绝大多数是相互独立的，这是件好事情。标签（目标类别）没有出现在热图中，因为目标（类别）只取几个离散值中的一个。不包括目标类别无疑减少了关联热图所能揭示的信息。

J_Xiong0117

关注

5
点赞
踩
94

收藏

觉得还不错? 一键收藏
3
评论
数据分析——“玻璃的类型”数据集

文章目录0.数据集介绍1.玻璃数据集读取与分析2.变量关系可视化（平行坐标图）3.属性对相关性可视化0.数据集介绍多类别分类问题与二元分类问题类似，不同之处在于它有多个离散的输出，而不是只有两个。回顾探测未爆炸的水雷的问题，它的输出只有两种可能性：声纳探测的物体是岩石或者水雷。而红酒口感评分问题根据其化学成分会产生几个可能的输出（其口感评分值是从 3 分到 8 分）。但是对于红酒口感评分问题，口感评分值存在有序的关系。打 5 分的红酒要好于打 3 分的，但是要劣于打 8 分的。对于多类别分类问题，输出结
复制链接

扫一扫