小天与数据分析的不解之缘——4

theskylife

于 2024-07-31 18:19:24 发布

阅读量414

点赞数 11

分类专栏：数据分析文章标签：数据分析数据挖掘

本文链接：https://blog.csdn.net/qq_41780234/article/details/140758202

版权

150 篇文章 38 订阅

订阅专栏

写在开头

在大三暑假，小天通过学校的实习项目进入了一家大型零售公司的数据分析部门实习。由于表现出色，毕业后他顺利地进入了这家公司，成为了一名正式的数据分析师。工作中，小天的任务是分析顾客购买行为，并提出改善销售策略的建议。然而，分析工作的第一步，就是处理数据中的各种问题，包括缺失值、重复值和异常值。

小天坐在公司的办公室里，桌上摆放着公司的数据报告。他打开电脑，连接上公司的数据库，开始提取所需的销售数据。数据库中记录了每一笔交易的详细信息，包括日期、时间、商品编号、销售金额和顾客ID等。小天将这些数据导入到分析软件中，准备进行初步的探索性分析。

当他第一次查看数据时，便发现了不少问题。数据集中存在大量的缺失值、重复值和异常值，如果不进行处理，这些问题将严重影响后续的分析结果。

首先，小天决定处理缺失值。他发现一些记录中缺少销售金额或顾客ID，这些缺失值可能会导致分析结果偏差。小天使用统计方法检查缺失值的分布情况，并记录下哪些列缺失值最多。

对于销售金额的缺失值，小天决定删除这些记录，因为这些值的缺失会对销售额的分析产生较大影响。例如，如果某商品的销售金额缺失，会导致该商品的总销售额被低估，从而影响整个产品线的利润分析。

对于顾客ID的缺失值，由于涉及的记录较多，他选择用最常见的顾客ID进行填补。填补的具体方法是计算出最常见的顾客ID（即众数），然后将这些缺失的值替换为这个众数。这样做的原因是，使用众数填补能够最大限度地减少对整体数据分布的影响，同时保留尽可能多的数据记录。

例如：

$customer_id ) \text{填补值} = \text{mode}(X_{\text{customer\_id}})$

其中， $customer_id X_{\text{customer\_id}}$ 表示顾客ID的所有值，mode表示众数。

接下来，小天开始处理数据中的重复值。由于系统错误或多次录入，数据库中存在不少重复的交易记录。如果不去除这些重复记录，可能会导致销售量被高估。

小天通过比对所有字段，查找完全相同的重复记录，并将这些重复记录删除。为确保没有误删，他仔细检查了删除前后的记录数量，确认每一步操作的准确性。

例如，某商品在系统中被重复录入了两次，那么销售量将会被错误地计为两倍。删除这些重复记录后，数据的准确性得到了保证，确保了分析结果的可靠性。

最后，小天开始处理数据中的异常值。在数据集中的销售金额列，他发现了一些极端值，比如某些商品的单笔交易金额高得离谱，明显不符合实际情况。为了识别这些异常值，他使用箱线图（boxplot）直观地展示销售金额的分布情况，并通过四分位距（IQR）法则来识别异常值。

在箱线图中，超出1.5倍四分位距范围的值被视为异常值。四分位距（IQR）的计算公式如下：

$\text{IQR} = Q3 - Q1$

其中， $Q 1$ 和 $Q 3$ 分别是数据的第一个四分位数和第三个四分位数。

异常值的识别公式为：

$\text{下限} = Q1 - 1.5 \times \text{IQR}$
$\text{上限} = Q3 + 1.5 \times \text{IQR}$

任何小于下限或大于上限的值都被视为异常值。

通过这些公式，小天识别出异常值并决定如何处理它们。处理异常值的策略包括：

检查数据源：首先，他联系相关部门确认这些异常值是否是数据录入错误。经过核实，一些极端值确实是由于手动输入错误造成的。
剔除极端异常值：对于确认是录入错误的极端值，小天选择将其剔除出分析数据集。这些值会严重影响均值等统计量的计算，剔除后可以提高数据的整体质量。
保留合理的异常值：对于某些确实可能存在的高交易额（例如，某VIP顾客一次性购买大量高价商品），小天选择保留这些数据，但在分析报告中注明这些数据对分析结果可能带来的影响。

在处理数据的过程中，小天不仅运用了技术手段，还结合了业务逻辑。例如，在处理销售金额的缺失值时，他咨询了公司的财务部门，了解哪些商品的销售金额最容易出错，并特别关注这些商品的数据清洗。

在处理重复值时，小天仔细检查了每一条记录的时间戳，确保删除的只是完全重复的记录，而不是两笔非常接近的合法交易。这样做可以避免误删重要数据，保证数据的完整性和准确性。

在处理异常值时，小天不仅依赖统计方法，还结合了行业知识。例如，他知道某些奢侈品在特定季节的销售额会异常高，因此在剔除异常值时特别谨慎，避免误删有价值的数据。

经过一番努力，小天成功地清洗了数据集，去除了缺失值、重复值和异常值。现在，他的数据集更加整洁和可靠，为后续的分析工作打下了坚实的基础。

数据清洗是一项繁琐但至关重要的工作。通过处理缺失值、重复值和异常值，小天不仅提升了数据的质量，还为后续的分析提供了坚实的基础。这段经历让他深刻体会到，数据分析不仅仅是技术和工具的应用，更是一种耐心和细致的工作态度的体现。正是这种态度，帮助他在数据分析的道路上不断前行和进步。

关注