数据分析#数据预处理#python

数据分析是指运用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论，对数据加以详细研究和概括总结的过程。

数据分析中的预处理步骤是数据分析的重要环节，通常包括以下几个关键步骤：

一. 数据收集：获取需要分析的数据，可以从各种数据源如文件、数据库、网络等获取。

二. 数据导入：将收集到的数据导入到 Python 中，常用的库如 pandas 用于读取和处理不同格式的数据文件。

三. 数据清洗：处理缺失值、异常值、重复数据等，确保数据的质量和准确性

1.   数据清洗（Data Cleaning）：

   • 缺失值处理：填充、删除或估算缺失的数据。
   • 异常值检测：识别并可能修复或排除不合理的数值。
   • 重复值检查：删除重复记录，保持数据唯一性。
   • 数据类型转换：将数据调整为正确的格式，如日期时间格式化、数值类型等。

四. 数据探索：对数据进行初步的观察和分析，如查看数据的基本统计信息、分布情况等。

五. 数据转换：根据分析需求对数据进行转换，如数据类型转换、特征工程等。

六. 数据分析：运用各种数据分析方法和算法进行计算和分析，如统计分析、关联分析等。

七. 数据可视化：使用可视化库如 matplotlib、seaborn 等将分析结果以直观的图表形式展示出来。

八. 结果解释：对可视化结果和数据分析结果进行解释和理解，得出有意义的结论。

九. 报告撰写：将分析过程和结论整理成报告或文档。

完成以上预处理步骤后，数据就准备好了供机器学习模型进行训练和预测。预处理的质量直接影响到分析结果的可靠性。

---

---

接下来通过案列讲解：

一.数据导入，引入数据库

 数据表的基本信息查看

也可以在Python中使用info()函数 

info（）函数语法如下：

info()函数对于快速查看对象的功能和用法非常有用

学校收集的学生数据存贮在sales.csv中，如下所示

首先使用pandas库中的read_csv方法导入sales.csv文件，然后使用info（）方法，查看数据的基本信息

查看数据表大小

使用Python中，shape()函数是numpy库中的一个函数，用于获取数组的维度信息。它可以应用于numpy数组对象，返回一个表示数组形状的元组。

二.数据清洗

在 Python 中，数据清洗通常包括以下几个方面：

1. 处理缺失值

• 识别缺失值：通过检查数据集中是否存在空值、NaN 值或其他表示缺失的特定标记。

• 处理策略：可以选择删除包含缺失值的行或列，用平均值、中位数、众数等统计值填充，或者使用基于模型的方法进行预测填充。

2. 处理重复数据

• 检测重复：查找完全相同的行数据。

• 处理重复：根据具体需求删除重复行或保留其中一行

3. 处理异常值

• 识别异常值：通过数据可视化、统计方法（如均值加减标准差）等方式找出与大部分数据差异较大的值。

• 处理异常值：可以选择删除、修正或单独处理异常值。

4. 数据标准化和归一化

• 标准化：将数据按比例缩放，使其均值为 0，标准差为 1。

• 归一化：将数据映射到特定的范围，如 0 到 1 之间。

5. 数据类型转换

• 确保数据的类型符合分析和处理的需求，例如将字符串转换为数值类型。

 1.将字符串转换为整数：

2. 将字符串转换为浮点数：

3.将整数转换为字符串：

4.将浮点数转换为字符串：

5.将字符串转换为列表：

6.将列表转换为字符串：

7.将字符串转换为布尔值：

8.将整数转换为布尔值：

9.将浮点数转换为布尔值：

10.将None转换为整数：

6. 清理和纠正数据格式

• 例如，统一日期、时间的格式，清理字符串中的空格、特殊字符等。