python怎么整理数据的具体人数_用Python进行数据整理

【数据整理】

数据整理是在分析，可视化和在使用机器学习建立预测模型之前，进行数据收集，数据评估和数据整理的过程

【数据收集】

方法：1、从网上直接下载数据源；2、用编程方法下载数据源；3、使用手头的文件

【数据评估】

评估我们的数据，已确定哪些是干净的数据，以及一旦丢失哪些数据，我们还需要收集哪些数据。确保我们的数据形式，能让后续分析更轻松一点，更注重这方便一些。

数据评估主要是评估数据的质量和完整度。

数据质量问题：1、数据丢失；2、数据无效；3、数据不准确；4、数据不一致，单位不同

数据整洁度标准：1、每个变量构成一列；2、每个观察结果构成一行；3、每种类型的观察单位构成一个表格。

评估的方法：目测评估(小样本)、编程评估

使用.head显示DataFrame前5行

使用.tail显示DataFrame最后5行

显示.info显示DataFrame基本摘要

使用.value_counts显示年份一栏的输入数

df.Year.value_counts()，value_counts是用于series，不能用于dataframe.

【数据清洗】

编程数据清理过程分为3步：定义，代码，练习

定义：指以书面形式定义数据清洗计划，其中我们需将评估转变为定义的清洗任务。这个计划也可作为一个知道清单，所以其他人(或我们自己将来)也可以回顾和重现自己的工作。

编码：指将这些定义转换为代码并执行该代码。

练习：指练习我们的数据集，通常使用代码，以确保有效完成我们的清洗工作。

在清洗之前先准备副本

df_clean=df.copy()

重命名列标题

df_clean = df_clean.rename(columns = {'oldname1':'newname1',

'oldname2':'newname2'})

内容不一致问题

df_clean = pandas.series.replace(to_replace=None,value=None,inplace=False,limit=None,regex=False,method='pad',axis=None)

* 用"value"或第二个参数替换“to_replace”中给出的值-即第一个参数

* inplace的默认值为假，我们要将它转换成True.inplace真值是指我们只能在这里写这行代码，并执行这行代码，它所产生的变化将反应在df_clean中，如果这里没有inplace真值，我们就必须将次函数的结果重新赋给Startdate列