python整理数据的一般步骤

1、开始，引入需要的包和函数

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
……

2、加载文件

df = pd.read_csv(‘路径’)
df.read() # 浏览数据信息

3、查重、去重

df.duplicated()
df.drop_duplicates()

4、缺省值处理

result = pd.read_csv(‘路径’，na_values = [‘NULL’]) # 标记缺失值
或者，可以用一个字典为各列指定不同的NA标记值：
setinelss = {‘message’:[‘fool’,‘NA’],‘someting’:[‘two’]}
pd.read_csv(‘路径’，na_values = sentinels) # 替换缺失值

查找缺失值：
print(data.isnull().sum())

滤除缺失值
data = data.dropna() # 默认丢弃任何含有缺失值的行
data.dropna(how = ‘all’) # 只丢弃全为NA的那些行
data.dropna(axis=1,how = ‘all’) # 丢弃列 ，只要传入axis = 1 即可
data.dropna(thresh = 3) # 只想留下一部分数据，即将含有NA的行删除

填充缺失数据