机器学习系列5 利用Scikit-learn构建回归模型：准备和可视化数据（保姆级教程）_sklearn数据直方图可视化(3)

本文链接：https://blog.csdn.net/2401_84975245/article/details/138982729

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上C C++开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以戳这里获取

图3 数据组织结构

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAR0lTZXIgTGl1,size_20,color_FFFFFF,t_70,g_se,x_16

通过观察，我们可以发现：

0 红框1是特征变量名，红框2是非空值的数量，红框3是数据类型；

1 数据共有1757行，代表1757个样本，按城市分组；

2 数据很混乱，其中大量数据有缺失值，这对数据分析没有益处；

事实上，直接就可以拿来训练模型的数据集并不常见。大多数数据都需要我们做清洗，这也是机器学习流程中最麻烦的一个环节。

二、数据检查并整理

查看这些数据，你注意到了什么？你或许对各种数据类型的混合感到迷茫，但是请放心，数据科学是逻辑清晰的，你需要保持冷静的状态，抓住表象本质，将繁琐的逻辑理清。我会带你慢慢解决它。

思考机器学习的流程，第一步是什么？是提出问题，我们可以对这个数据提出什么问题呢？使用回归技术试一试，例如“预测给定月份内待售南瓜的平均价格”。再次查看数据，我们需要对原始数据pumpkins进行一些更改才能创建任务所需的数据结构。

1.数据检查

根据我们提出的问题，我们需要价格、月份数据以及南瓜称量数据；

0 平均价格数据可由’Low Price’, 'High Price’两列数据计算得到

1 月份数据可从’date’列中提取得到

2 南瓜数据可以从’Packge’列中提取得到

在进行数据整理之前，我们需要对数据进行检查。

①缺失值检查

首先，我们需要检查缺失数据。输入以下代码：

pumpkins.isnull().sum() #检查每列数据中的缺失值的数量

图4 缺失值

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAR0lTZXIgTGl1,size_13,color_FFFFFF,t_70,g_se,x_16

根据打印出来的结果可以看出，日期’date’数据的缺失值为0，并无缺失值，同理，其余需要的数据也没有缺失值。因此，缺失值检测通过。

②数据一致性检查

接着我们检查每列数据中的数据一致性。四列数据中，'Package’列中的数据是南瓜的称量单位，称量单位应保持一致，它决定着价格一致性。因此只对此列数据做一致性检验。输入以下代码：

pumpkins["Package"].is_unique

这行代码用于检验数据的值是否唯一，True代表唯一，False表示不唯一。输出结果为：

False

输出结果表明数据不唯一，稍后我们将对其进行处理。

③无效值检查

本数据因为是通过官方渠道获取，方便初学者入门，因此数据已经剔除无效值，之后的文章中我会详细讲解无效值检查，感兴趣的同学可提前去学习相关知识。

2.数据整理

现在，我们经过数据检查，整理了以下问题：

Package列数据未通过数据一致性检验

①数据过滤

我们通过输入以下代码统计"Package"列不同数据出现的频数以选择合适的数据：

pumpkins["Package"].value_counts() #统计"Package"列不同值出现的次数

打印结果如下，结果似乎很混乱，统计的称量方式多种多样。

图5 Package频数统计

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAR0lTZXIgTGl1,size_16,color_FFFFFF,t_70,g_se,x_16

经过深入研究原始数据后，我们发现，其中包含“每英寸”、“每箱”甚至“每个”的称重类型，这不是重量单位，它的价格是无意义的。南瓜似乎很难保持一致的重量，所以让我们通过只选择列中有字符串“'bushel”的南瓜来过滤它们，虽然缺失了很多数据，但它们对分析无用。

输入以下代码用于筛选只包含字符串“bushel”的数据：

pumpkins = pumpkins[pumpkins['Package'].str.contains('bushel', case=True, regex=True)]

②数据提取

经过数据过滤，现在我们的整理工作只剩下两个：

0 提取月份数据

0.0 将日期数据转换为月份格式（这些日期数据是美国日期，因此格式为MM/DD/YYYY）

0.1 将月份提取到新列

1 提取平均值数据

1.0 计算平均价格并提取至新列

（1）提取月份数据与价格数据

思考一下如何确定南瓜在给定月份的平均价格。在这里每月平均价格的计算公式为：

（Low Price+High Price）/2

price = (pumpkins['Low Price'] + pumpkins['High Price']) / 2 #price是平均价格 
month = pd.DatetimeIndex(pumpkins['Date']).month #将日期列转换为日期并提取出月份数据

我们需要创建一个“month”列，从“date”列中提取出月份，并赋值给“month”列。

（2）提取数据至新列

将需要的数据提取出来放置新文件，并查看其结构。输入以下代码：

new_pumpkins=pd.DataFrame({'Month':month,'Package':pumpkins['Package'],'LowPrice':pumpkins['Low Price'],'High Price': pumpkins['High Price'], 'Price': price}) 
new_pumpkins.info()

输出结果为：

图6 新数据

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAR0lTZXIgTGl1,size_16,color_FFFFFF,t_70,g_se,x_16

我们可以看到，我们分析需要的数据已经基本整理完成。那你是否注意到南瓜单位的量因每行而异呢，你需要规范定价，以便显示每pushel的定价，因此请进行一些数学运算以对其进行标准化。

在创建new_pumpkins数据之后添加以下代码：

new_pumpkins.loc[new_pumpkins['Package'].str.contains('1 1/9'), 'Price'] = price/(1 + 1/9) # loc()函数通过索引行标签索引行数据，即包含1 1/9的行，price = price/(1 + 1/9) 
new_pumpkins.loc[new_pumpkins['Package'].str.contains('1/2'), 'Price'] = price/(1/2) #同上