稍为记录一下学习
检视数据
import pandas as pd
df = pd.read_csv('C:/Users/a0939/PycharmProjects/get/hotel/shanghai_hotel.csv')
df.head() #查看数据前五行
df.dtypes #查看数据类型
df.shape #数据行列数
df.info() #数据资讯(可查看缺省值)
df.describe() #描述性统计(平均、标准差、最大、最小、分位数)
df['star'].unique() #查看该行列有几种数值
查找空值
df.isnull().any(axis=0) #缺省值,axis=0为列 axis=1为行 默认为0
df.loc[df.isnull().any(axis=1)] #定位缺省值的行列
df.isnull().sum(axis=0) #缺省值数量
#处里空值
da = df.copy()
data = da.dropna() #删除含有缺省值的整行
data.info()
#默认情况下dropna()不会修改原数据,若要修改的话,添加参数inplace = True
data = da.fillna(0, inplace = False) #将缺省值换为0
data.info()
重复数据
da.duplicated().any() #查询有无重复
d =data.drop_duplicates(subset=['name']) #删除重复行、subset为判定重复的依据(例如:名字)
#若需删除源数据,添加参数inplace = True