UCI数据集数据的分析 ——葡萄酒数据

1、前言

     葡萄酒是一种成分复杂的酒精饮料,不同产地、年份和品种的葡萄酒成分不同,这也是导致质量差异过大的重要因素。至今,质量评价主要还是依靠专家的感官。味道是最难理解的一种感官,因此用味蕾评价葡萄酒也就成为一件艰巨的任务。为了评估葡萄酒的质量,我们提出的方法就是根据酒的物理化学性质与质量的关系,找出高品质的葡萄酒具体与什么性质密切相关,这些性质又是如何影响葡萄酒的质量。

2、数据准备

    数据集链接

    数据集包括1599个红葡萄酒样本以及4898个白葡萄酒样本,每个样本含有12个变量:固定酸度、挥发酸度、柠檬酸、残糖、氯化物、游离二氧化硫、总二氧化硫、密度、pH值、硫酸盐、酒精,葡萄酒的质量(基于感觉)。

3、数据预处理

     为了提高数据的质量,可以对离群点和极端值进行丢弃修正,我们指定3个标准差以外的数据为离群点,5个标准差以外的为极端值。经过处理后,红葡萄酒数据可以剔除100多个样本,白葡萄酒可以剔除400多个样本。

 

4、变量相关性

     以前11个变量作为输入变量,质量作为输出变量,下面探讨酒的质量好坏主要与哪些输入变量有关,下面我们通过计算质量与固定酸度、挥发酸度、柠檬酸、残糖、氯化物、游离二氧化硫、总二氧化硫、密度、pH值、硫酸盐、酒精的简单相关系数来反映变量间的相关性。

     红葡萄酒数据的计算结果:

        白葡萄酒数据的计算结果:

      

        分析结果可知,红葡萄酒质量的好坏主要与酒精度、挥发酸以及硫酸盐有关。

白葡萄酒质量的好坏主要与酒精度、密度以及氯化物有关。

5、分析影响因素

     主要利用“数据审核”,例如得到下图:

酒精度与质量

红葡萄酒数据的分析结果:

第一,样本中大部分红葡萄酒的质量都落在5-6间。
第二,在一定程度上,酒精度越高酒越好,中上水平的酒(即质量处于5-6)间的红葡萄酒的酒精度大致在9.1-10.5。
第三,高品质的红酒挥发酸普遍偏低,几乎挥发酸较高的红葡萄酒都是质量很差的酒。

第四,红葡萄酒质量和硫酸盐的分布接近正态分布,较好的红葡萄酒集中分布在硫酸盐中等水平上(0.59-0.85),且在一定的硫酸盐水平上红葡萄酒质量的分布比例较为一致。

白葡萄酒数据的分析结果:

第一,样本中大部分白酒的质量都落在5-6间。
第二,高品质的白葡萄酒的酒精度普遍偏高,大致处于10.7-13之间,低品质的酒几乎集中在酒精度较小的部分,反之,酒精度高的几乎全是质量极好的。
第三, 白葡萄酒质量在密度上的分布比较分散,大部分高品质的分布在密度0.991以上,而且高密度的白葡萄酒的质量一般都比较好。

第四,对于不同水平的氯化物,质量的分布近似正态分布,其中绝大部分集中在中间,且在氯化物的中等水平上高品质的酒占比最高,向两边该占比逐渐减小。

6、数据比较

     为了比较红白葡萄酒的各种物理化学性质的大小以及质量与性质有什么关系,我们特意将两类数据做出以下对比,结果呈现如下:

 

综合可得

  红葡萄酒比白葡萄酒的固定酸度略高,特别是高品质的酒,差异更为明显;

  红葡萄酒的残糖含量较低,而白葡萄酒的残糖量较高,特别质量中等的酒残糖更高;

  红葡萄酒和白葡萄酒的酒精度大体一致,而且酒精度越高,酒的质量越好,品质越高;

  红葡萄酒的氯化物含量明显高于白葡萄酒;

  红葡萄酒的总二氧化硫、游离二氧化硫都低于白葡萄酒,同时红葡萄酒的总二氧化硫含量随着质量的提高而上升,而白葡萄酒的总二氧化硫含量随着质量的提高而下降.

7、变量重要性

 

通过模型预测变量的重要性,我们可以发现(:

影响红葡萄酒的质量的变量关键依次为:酒精度->硫酸盐->挥发酸->总二氧化硫->PH值->残糖->游离二氧化硫->密度->氯化物->柠檬酸->固定酸度;

影响白葡萄酒的质量的变量关键依次为酒精度->挥发酸->游离二氧化硫->固定酸度->总二氧化硫->残糖->密度->PH值->柠檬酸->氯化物->硫酸盐

8、小结

 

     评价葡萄酒质量主要依赖专家的经验和感官,主观性过大,而我们提出的方法是基于客观数据驱动的,一方面可以直接作为评估质量的标准,另一方面,在专家评价与决策系统预测偏离太大时,可以采取多人品尝评价模式。

     一旦挖掘出某些变量性质和质量的密切关系,可以在葡萄酒生产阶段对该变量加以控制,以便提高葡萄酒的口味和质量,有效扩大葡萄酒的市场。

 

  • 22
    点赞
  • 205
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
数据仓库与数据挖掘》课程论文 基于Wine数据集数据分析报告 专业:计算机科学与技术 二〇一五年五月二十五日 基于wine数据集数据分析报告 摘 要:数据挖掘一般是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性的信息的 过程。在大数据时代,如何从海量数据中挖掘有用信息成为了信息产业的热门话题。作 为数据挖掘课程内容的回顾与应用,本文对wine数据集进行数据探索性分析,并将数 据挖掘的决策树、支持向量机、聚类等常用方法应用于具体的数据挖掘任务,并取得了 较好的效果。 关 键 词:wine数据集、决策树、支持向量机、聚类 引言 数据挖掘(Data mining),又译为资料探勘、数据挖掘、数据采矿。数据挖掘一般是指从大量的数据中 自动搜索隐藏于其中的有着特殊关系性(属于Association rule learning)的信息的过程。数据挖掘通常与计算机科学有关,并通过统计、在线分析处 理、情报检索、机器学习、专家系统和模式识别等诸多方法来实现上述目标。在大数据 时代,如何从海量数据中挖掘有用信息成为了信息产业的热门话题。本文作为数据挖掘 课程内容的回顾与应用,将数据挖掘的理论与方法运用于具体的数据挖掘任务中,并取 得较好的效果。 本次实验选择的数据集为wine数据集。本文首先对其进行数据探索性分析,包括: 数据概括、变量分布、离群、缺失、相关性等,并运用了适当的图形进行描述,然 后在探索性分析的基础上,采用了决策树、支持向量机、聚类等方法进行了分类预测, 并比较了不同方法的分类效果。 数据探索性分析 1 数据概况 本次实验选用的数据集UCI的Wine Quality数据集中white wine的4898条数据,每条数据有12种属性,分别为:fixed acidity, volatile acidity, citric acid, residual sugar, chlorides, free sulfur dioxide, total sulfur dioxide, density, pH, sulphates, alcohol, quality. 其中,quality为输出,以0到10之间的数字来表示的品质。 实验使用RStudio软件将数据集读入,并使用summary命令概括数据集概况。如图一所 示,summary概括了数据集中各个变量的平均、中位数、最大、最小等信息。 图1 数据概括 2 变量分布 使用hist()绘制各变量的直方图。如图二所示,直方图直观的展示了变量的分布情况 。 图2 变量直方图 直方图只能对变量进行直观的描述,而变量是否满足正态分布则需要正态性验证。使 用shapiro test对各变量进行正态验证,通过查看结果中的p- value就可以得到变量是否符合正态分布。如果p- value大于0.05即符合正态分布,而对所有变量进行shapiro test得到p- value均不大于0.05,所以wine数据集各特征均不是正态分布。 3 离群分析 箱形图(Box- plot)又称为盒须图、盒式图或箱线图,是一种用作显示一组数据分散情况资料的统计 图。主要包含六个数据,将一组数据从大到小排列,分别计算出他的上边缘,上四 分位数Q3,中位数,下四分位数Q1,下边缘,还有一个异常。箱形图的异常就可以 可视化的展示数据集中的离群。图3展示了各变量的离群分布情况,可以看出离群 较多,可能对预测产生影响。 图3 变量箱形图 4 缺失分析 Wine数据集不含有缺失。 5 相关性分析 数据集中各变量间的相关性关系可由cor()函数计算出的协方差矩阵来表示,如表4所 示。 表1 协方差矩阵表 "ROW "1 "2 " " "正确率 "MAE "正确率 "MAE " "决策树 "0.83 "0.2 "0.57 "0.51 " "支持向量 "0.61 "0.44 "0.57 "0.48 " "机 " " " " " 通过表二可以看出,两种模型的分类精度都比较低。再回顾数据探索性分析中关于离 群部分的内容可知,数据集中含有大量离群。而决策树与支持向量机属于对离群 非常敏感的模型,这可能就是分类精度较低的原因。所以需要选用一种能够克服离群 影响的模型来对wine数据集进行预测,因此我们选用了class包中的1- 近邻模型来进行分类预测,结果如表3所示,可以看出分类效果有提高。 表3 直接分类预测结果 "模型 "训练集 "测试集 " " "正确率 "MAE "正确率 "MAE " "决策树 "0.83 "0.2 "0.57 "0.51 " "支持向量 "0.61 "0.44 "0.57 "0.48 " "机 " " " " " "1-近邻 "  "  "0.61 "0.45
评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值