python 分析两组数据的差异_十分钟搞懂“Python数据分析”

引言：本文重点是用十分钟的时间帮读者建立Python数据分析的逻辑框架。其次，讲解“如何通过Python 函数或代码和统计学知识来实现数据分析”。

本次介绍的建模框架图分为六大版块，依次为导入数据，数据探索，数据处理，建模，模型评估，模型调优(完整的逻辑框架图请看文章末尾处)。

在实际商业项目中，建模前的工作占据整个项目70%左右的时间。读者可能会问你既然是模型预测，为什么不把更多时间放在模型和调参上？因为巧妇难为无米之炊，数据本身决定了模型预测的上限，而模型或算法只是无限逼近这个上限而已。正所谓兵马未动粮草先行，数据探索和数据处理能为之后建模打下坚实基础，因此团队做项目时会把大量时间投放在这两个部分，目的在于提高数据质量，发现变量间关系，选取恰当特征变量。下面我会依次介绍这六个版块，但详解数据探索和数据处理版块。

 一   导入数据

Python数据分析的第一步是要把数据导入到Python中。导入数据需要做两件事，第一，告诉Python 你的文件格式，常用的格式有：.csv,.jason, .xlsx, .hdf。第二，告诉Python 你的文件路径。

举例：假如文件格式为.csv,    文件路径为：path =“C：\Windows\...\desktop\mydata.csv”

通过df.read_csv(path)函数，即可将数据导入Python。

 

 二   数据探索

数据探索版块主要涉及描述性统计，数据分组，关联分析，方差分析。会涉及一些Python函数和统计学知识，笔者依次介绍。